As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Melhores práticas de observabilidade do EMR
O EMR Observability engloba uma abordagem abrangente de monitoramento e gerenciamento para clusters do EMR. AWS A base está na Amazon CloudWatch como principal serviço de monitoramento, complementado pelo EMR Studio e por ferramentas de terceiros, como Prometheus e Grafana, para maior visibilidade. Neste documento, exploramos aspectos específicos da observabilidade do cluster:
-
Observabilidade do Spark
(GitHub) — Com relação à interface de usuário do Spark, você tem três opções no Amazon EMR. -
Solução de problemas do Spark
(GitHub) — Resoluções para erros. -
Monitoramento de cluster do EMR (GitHub) — Monitorando
o desempenho do cluster. -
Solução de problemas do EMR
(GitHub) — identifique, diagnostique e resolva problemas comuns do cluster EMR. -
Otimização de custos
(GitHub) — Esta seção descreve as melhores práticas para executar cargas de trabalho econômicas.
Ferramenta de otimização de desempenho para aplicativos Apache Spark
-
AWS A ferramenta EMR Advisor
analisa os registros de eventos do Spark para fornecer recomendações personalizadas para otimizar as configurações do cluster EMR, aprimorar o desempenho e reduzir custos. Ao aproveitar dados históricos, ele sugere tamanhos de executores e configurações de infraestrutura ideais, permitindo uma utilização mais eficiente dos recursos e um melhor desempenho geral do cluster. -
A ferramenta Amazon CodeGuru Profiler
ajuda os desenvolvedores a identificar gargalos de desempenho e ineficiências em seus aplicativos Spark coletando e analisando dados de tempo de execução. A ferramenta se integra perfeitamente aos aplicativos Spark existentes, exigindo configuração mínima, e fornece informações detalhadas por meio do AWS console sobre o uso da CPU, padrões de memória e pontos críticos de desempenho.
