Depurar trabalhos - Amazon EMR
Permissões obrigatóriasConsiderações

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Depurar trabalhos

nota

Com esse recurso, acesse os logs stdout e stderr dos trabalhadores do perfil do sistema que podem conter informações confidenciais e não filtradas. A permissão a seguir deve ser usada somente para acessar dados que não sejam de produção. Para aplicações criadas para uso com trabalhos de produção, sugerimos que você adicione essas permissões apenas a administradores ou usuários com acesso elevado aos dados.

Com o EMR-7.3.0 e versões posteriores, o EMR Sem Servidor está habilitando a capacidade de autodepuração para trabalhos em lotes habilitados para Lake Formation. Para fazer isso, use o novo parâmetro accessSystemProfileLogs na GetDashboardForJobRunAPI. Se accessSystemProfileLogs estiver definido como verdadeiro, você poderá acessar os registros stdout e stderr dos trabalhadores do perfil do sistema, que podem ser usados para depurar um trabalho em lote do EMR Serverless habilitado para Lake Formation.

aws emr-serverless get-dashboard-for-job-run \
  --application-id application-id
  --job-run-id job-run-id
  --access-system-profile-logs

Permissões obrigatórias

O diretor que deseja depurar trabalhos em lote habilitados para Lake Formation usando GetDashboardForJobRundeve ter as seguintes permissões adicionais:

{
    "Sid": "AccessSystemProfileLogs",
    "Effect": "Allow",
    "Action": [
        "emr-serverless:GetDashboardForJobRun",
        "emr-serverless:AccessSystemProfileLogs",
        "glue:GetDatabases",
        "glue:SearchTables"
    ],
    "Resource": [
        "arn:aws:emr-serverless:region:account-id:/applications/applicationId/jobruns/jobid",
        "arn:aws:glue:region:account-id:catalog",
        "arn:aws:glue:region:account-id:database/*",
        "arn:aws:glue:region:account-id:table/*/*"
    ]
}

Considerações

Os logs de perfil do sistema para depuração são visíveis para trabalhos que acessam bancos de dados ou tabelas no Lake Formation na mesma conta do trabalho. Eles não são visíveis nos seguintes cenários:

  • Se o catálogo de dados gerenciado usando as permissões do Lake Formation tiver bancos de dados e tabelas entre contas

  • Se o catálogo de dados gerenciado usando as permissões do Lake Formation tiver links de recursos