Etapa 4: verificar a integridade do cluster e das instâncias do Amazon EMR
Um cluster do Amazon EMR é formado por nós em execução em instâncias do Amazon EC2. Se essas instâncias tornarem-se limitadas por recursos (por exemplo, se ficarem sem memória ou CPU), passarem por problemas de conectividade de rede ou forem encerradas, a velocidade de processamento do cluster será prejudicada.
Existem até três tipos de nós em um cluster:
-
nó principal: gerencia o cluster. Se ele sofrer um problema de desempenho, todo o cluster será afetado.
-
nós core: processam tarefas map/reduce e mantêm o Sistema de Arquivos Distribuído do Hadoop (HDFS). Se um dos nós passar por um problema de desempenho, isso poderá retardar as operações do HDFS, bem como o processamento de map/reduce. Você pode adicionar outros nós core a um cluster para melhorar o desempenho, mas não pode remover nós core. Para obter mais informações, consulte Redimensionar manualmente um cluster do Amazon EMR em execução.
-
nós de tarefa: processam tarefas map/reduce. Estes são recursos puramente de computação e não armazenam dados. Você pode adicionar nós de tarefas a um cluster para acelerar o desempenho ou pode remover nós de tarefas que não são necessários. Para obter mais informações, consulte Redimensionar manualmente um cluster do Amazon EMR em execução.
Ao examinar a integridade de um cluster, você deve considerar o desempenho do cluster como um todo, bem como o desempenho de instâncias individuais. Existem várias ferramentas que pode ser usadas:
Verificar a integridade do cluster com o CloudWatch
Todo cluster do Amazon EMR reporta métricas para o CloudWatch. Essas métricas fornecem informações de desempenho resumidas sobre o cluster, como a carga total, a utilização do HDFS, as tarefas em execução, as tarefas restantes, os blocos corrompidos e muito mais. Observar as métricas do CloudWatch proporciona um panorama sobre o que está acontecendo com o cluster e pode fornecer ideias sobre o que está causando a lentidão no processamento. Além de usar o CloudWatch para analisar um problema de performance existente, você pode definir alarmes que fazem com que o CloudWatch gere alertas se ocorrer um problema de performance no futuro. Para obter mais informações, consulte Monitorar o Amazon EMR com o CloudWatch.
Verificar a integridade do status do trabalho e do HDFS
Use as Interfaces do usuário do aplicativo na página de detalhes do cluster para visualizar os detalhes do aplicativo YARN. Para determinados aplicativos, você pode analisar diretamente os logs de acesso em mais detalhes. Isso é útil principalmente para aplicativos Spark. Para obter mais informações, consulte Como exibir o histórico da aplicação do Amazon EMR.
O Hadoop fornece uma série de interfaces Web que você pode usar para visualizar informações. Para obter mais informações sobre como acessar essas interfaces Web, consulte Visualizar interfaces Web hospedadas em clusters do Amazon EMR.
-
JobTracker: fornece informações sobre o andamento do trabalho que está sendo processado pelo cluster. Você pode usar essa interface para identificar quando um trabalho ficou preso.
-
HDFS NameNode: fornece informações sobre a porcentagem de utilização do HDFS e o espaço disponível em cada nó. Você pode usar essa interface para identificar quando o HDFS está se tornando limitado por recursos e requer capacidade adicional.
-
TaskTracker: fornece informações sobre as tarefas do trabalho que está sendo processado pelo cluster. Você pode usar essa interface para identificar quando uma tarefa ficou presa.
Verificar a integridade da instância com o Amazon EC2
Outra maneira de procurar informações sobre o status das instâncias no cluster é usar o console do Amazon EC2. Como cada nó do cluster é executado em uma instância do EC2, você pode usar as ferramentas fornecidas pelo Amazon EC2 para verificar seu status. Para obter mais informações, consulte Visualizar instâncias de cluster no Amazon EC2.
