As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Métricas do Hadoop e do Spark no Ganglia
nota
A última versão do Amazon EMR a incluir o Ganglia foi o Amazon EMR 6.15.0. Para monitorar seu cluster, versões superiores à 6.15.0 incluem o agente Amazon CloudWatch .
O Ganglia informa as métricas do Hadoop para cada instância. Os vários tipos de métricas são prefixados por categoria: sistema de arquivos distribuído (dfs.*), máquina virtual Java (jvm.*), (mapred.*) e chamadas de procedimento remoto MapReduce (rpc.*).
YARN-based Métricas do Ganglia, como Spark e Hadoop, não estão disponíveis para as versões 4.4.0 e 4.5.0 do EMR. Use uma versão mais recente para usar essas métricas.
As métricas do Ganglia para o Spark geralmente têm prefixos para o ID de aplicativo do YARN e para o DAGScheduler do Spark. Portanto, os prefixos sigam este formato:
-
DAGScheduler.*
-
application_xxxxxxxxxx_xxxx.driver.*
-
application_xxxxxxxxxx_xxxx.executor.*
