Etapa 2: verificar o ambiente de cluster do EMR

Verifique seu ambiente para ver se existem falhas de serviço ou se você excedeu um limite de serviço da AWS.

Verificar a existência de interrupções de serviço

O Amazon EMR usa diversos Amazon Web Services internamente. Ele executa servidores virtuais do Amazon EC2, armazena dados e scripts no Amazon S3 e reporta métricas para o CloudWatch. Os eventos que interrompem esses serviços são raros, mas, quando ocorrem, podem causar problemas no Amazon EMR.

Antes de avançar, verifique o Painel de status dos serviços. Verifique a região onde você iniciou o cluster para saber se há um eventos de interrupção em qualquer um desses serviços.

Verificar os limites de uso

Se você estiver executando um cluster grande, tiver iniciado muitos clusters simultaneamente ou for um usuário compartilhando uma Conta da AWS com outros usuários, a falha no cluster poderá ter ocorrido porque você excedeu um limite de serviço da AWS.

O Amazon EC2 limita o número de instâncias de servidor virtual em execução em uma única região da AWS a 20 instâncias reservadas ou sob demanda. Se você iniciar um cluster com mais de 20 nós ou iniciar um cluster que faça com o número total de instâncias do EC2 ativas na Conta da AWS ultrapasse 20, o cluster não conseguirá iniciar todas as instâncias do EC2 necessárias e poderá haver falha. Quando isso acontece, o Amazon EMR retorna um erro EC2 QUOTA EXCEEDED. É possível solicitar que a AWS aumente o número de instâncias do EC2 que você pode executar em sua conta enviando uma solicitação para aumentar o limite de instâncias do Amazon EC2.

Outra coisa que pode fazer você exceder os limites de uso é o atraso entre quando um cluster é encerrado e quando ele libera todos os recursos. Dependendo da configuração, pode demorar de 5 a 20 minutos para um cluster ser encerrado totalmente e liberar os recursos alocados. Se você estiver recebendo um erro EC2 QUOTA EXCEEDED ao tentar iniciar um cluster, isso poderá acontecer porque os recursos de um cluster recém-encerrado talvez ainda não tenham sido liberados. Nesse caso, é possível solicitar que sua cota do Amazon EC2 seja aumentada ou esperar 20 minutos e reiniciar o cluster.

O Amazon S3 limita a cem o número de buckets criados em uma conta. Se o cluster criar um bucket novo que exceda esse limite, haverá falha na criação do bucket e poderá fazer com que haja uma falha no cluster.

Verificar a configuração da sub-rede da Amazon VPC

Se o cluster foi iniciado em uma sub-rede da Amazon VPC, a sub-rede precisa ser configurada conforme descrito em Configuração de redes em uma VPC no Amazon EMR. Além disso, verifique se a sub-rede na qual o cluster é iniciado tem endereços IP elásticos livres suficientes para atribuir um a cada nó do cluster.

Reiniciar o cluster

A lentidão no processamento pode ser causada por uma condição transitória. Considere encerrar e reiniciar o cluster para ver se o desempenho melhora.