Etapas de depuração do EMR usando o aplicativo YARN IDs - Amazon EMR
ID da aplicação YARN

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Etapas de depuração do EMR usando o aplicativo YARN IDs

Uma forma eficaz de depurar etapas que iniciam aplicações baseadas em Yarn (como etapas do Spark) é aproveitar as informações de ID da aplicação Yarn disponíveis no console do Amazon EMR.

ID da aplicação YARN

Para etapas que executam o Spark ou outras tarefas baseadas no YARN, o console do EMR mostra o ID da aplicação YARN executada mais recentemente nos detalhes da etapa. Se uma etapa iniciar várias aplicações YARN, somente o último ID da aplicação executada será exibido.

Por que usar o aplicativo Yarn IDs para depuração?

  • Você pode correlacionar diretamente as etapas do EMR às aplicações Yarn: identifique exatamente qual aplicação Yarn corresponde a uma etapa problemática ou interessante.

  • Você pode acessar as ferramentas de monitoramento ao vivo: use o ID do aplicativo para abrir a interface do YARN ResourceManager Live ou a interface do Spark History Server para inspecionar aplicativos em execução ou concluídos.

  • Você pode recuperar logs para solucionar problemas detalhados: use o ID do aplicação para encontrar logs de contêineres armazenados no S3, associados a essa aplicação, que ajudam você a se aprofundar em falhas ou problemas de performance.

Você pode usar essas informações de várias maneiras:

  1. Navegue até a guia Etapas do seu cluster do EMR.

  2. Clique na etapa que você deseja depurar.

  3. Localize a seção ID da aplicação do Yarn no painel de detalhes da etapa.

  4. Copie o ID da aplicação fornecido.

  5. Use o ID para:

    • Abra a interface do YARN ResourceManager Live. O URI tem a seguinte aparência: http: //:8088/cluster/app/ resourcemanager-host application_id

    • Abra a interface do Spark History Server para revisar os detalhes da execução da aplicação.

    • Acesse os logs do contêiner no seu bucket do S3 em caminhos marcados pelo ID da aplicação.

Ao usar o ID da aplicação Yarn, você pode simplificar seu processo de depuração e conectar falhas de etapas de alto nível do EMR às execuções subjacentes da aplicação Yarn.