Solução de problemas em clusters do Amazon EMR

Um cluster do EMR é executado em um ecossistema complexo que inclui software de código aberto, código de aplicação personalizada e Serviços da AWS. Quando ocorre um problema com qualquer uma dessas partes, o cluster pode falhar ou levar mais tempo do que o esperado para conclusão. Os tópicos a seguir podem ajudar a identificar problemas com o cluster e como corrigi-los.

Orientação sobre solução de problemas com aplicações Spark no EMR.

Ao desenvolver uma nova aplicação Hadoop, é recomendável habilitar a depuração e processar um subconjunto pequeno, mas representativo, de seus dados para testar a aplicação. Talvez convenha executar a aplicação passo a passo para testar cada etapa separadamente. Para obter mais informações, consulte Configuração de registro em log e depuração do cluster do Amazon EMR e Etapa 5: testar o cluster do Amazon EMR passo a passo.