Erros de controle de utilização com um cluster do Amazon EMR
Os erros “Throttled from Amazon EC2 while launching cluster” e “Failed to provision instances due to throttling from Amazon EC2” ocorrem quando o Amazon EMR não consegue concluir uma solicitação porque outro serviço limitou a atividade. O Amazon EC2 é a origem mais comum de erros de controle de utilização, mas outros serviços podem ocasionar esses erros. Os limites de serviço da AWS se aplicam por região para melhorar a performance, e um erro de controle de utilização indica que você excedeu o limite de serviço da conta naquela região.
Possíveis causas
A origem mais comum de erros de controle de utilização do Amazon EC2 é um grande número de instâncias do cluster sendo iniciadas, de modo que o limite de serviço para instâncias do EC2 é excedido. As instâncias do cluster podem ser executadas pelos seguintes motivos:
Novos clusters são criados.
Os clusters são redimensionados manualmente. Para obter mais informações, consulte Redimensionar manualmente um cluster do Amazon EMR em execução.
Os grupos de instâncias em um cluster adicionam instâncias (expandem) como resultado de uma regra de escalabilidade automática. Para obter mais informações, consulte Noções básicas sobre as regras de ajuste de escala automático.
As frotas de instâncias em um cluster adicionam instâncias para atender a uma maior capacidade de destino. Para obter mais informações, consulte Planejamento e configuração de frotas de instâncias para o cluster do Amazon EMR.
Também é possível que a frequência ou tipo de solicitação de API sendo feita ao Amazon EC2 cause erros de controle de utilização. Para obter mais informações sobre como o Amazon EC2 limita solicitações de API, consulte Query API request rate na Amazon EC2 API Reference.
Soluções
Considere as seguintes soluções:
Siga as instruções descritas em AWS service quotas no Referência geral da Amazon Web Services para solicitar um aumento do limite de serviço. Para algumas APIs, configurar um evento do CloudWatch pode ser uma opção melhor do que aumentar limites. Consulte mais detalhes em Quando configurar eventos do EMR no CloudWatch.
Se você tiver clusters são executados no mesmo agendamento (por exemplo, no começo da hora) considere intercalar os horários de início.
Se tiver clusters que são dimensionados para picos de demanda, e você periodicamente tiver capacidade de instância, considere especificar a escalabilidade automática para adicionar e remover instâncias sob demanda. Dessa forma, as instâncias serão usadas de forma mais eficiente e, dependendo do perfil de demanda, menos instâncias poderão ser solicitadas em um determinado momento em uma conta. Para obter mais informações, consulte Uso do ajuste de escala automático com uma política personalizada para grupos de instâncias no Amazon EMR.
