View a markdown version of this page

Tarefas e sessões de depuração - Amazon EMR
Permissões obrigatóriasConsiderações

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Tarefas e sessões de depuração

nota

Com esse recurso, acesse os logs stdout e stderr dos trabalhadores do perfil do sistema que podem conter informações confidenciais e não filtradas. A permissão a seguir deve ser usada somente para acessar dados que não sejam de produção. Para aplicações criadas para uso com trabalhos de produção, sugerimos que você adicione essas permissões apenas a administradores ou usuários com acesso elevado aos dados.

O Amazon EMR Serverless fornece um recurso de autodepuração que permite acessar os logs stdout e stderr dos trabalhadores do perfil do sistema para uma carga de trabalho do Lake. Formation-enabled Para usá-lo, defina o SystemProfileLogs parâmetro de acesso como true na API do painel para seu tipo de carga de trabalho:

  • Para um trabalho Formation-enabled em lote do Lake (EMR-7.3.0 e posterior), use a GetDashboardForJobRunAPI.

  • Para uma sessão do Lake Formation-enabled Spark Connect (emr-7.14.0e posterior ou emr-spark-8.1.0 posterior), use a GetResourceDashboardAPI com resourceType definido como SESSION.

aws emr-serverless get-dashboard-for-job-run \
  --application-id application-id
  --job-run-id job-run-id
  --access-system-profile-logs
aws emr-serverless get-resource-dashboard \
  --application-id application-id \
  --resource-id session-id \
  --resource-type SESSION \
  --access-system-profile-logs

Permissões obrigatórias

O diretor que deseja se autodepurar deve ter as seguintes permissões adicionais. Os // comentários marcam qual ação e recurso ARN se aplicam a um trabalho em lote versus a uma sessão do Spark Connect. Mantenha as entradas do seu tipo de carga de trabalho e remova os comentários antes de usar a política, pois o JSON não suporta comentários.

{
    "Sid": "AccessSystemProfileLogs",
    "Effect": "Allow",
    "Action": [
        "emr-serverless:GetDashboardForJobRun",    // batch job
        "emr-serverless:GetResourceDashboard",     // Spark Connect session
        "emr-serverless:AccessSystemProfileLogs",
        "glue:GetDatabases",
        "glue:SearchTables"
    ],
    "Resource": [
        "arn:aws:emr-serverless:region:account-id:/applications/applicationId/jobruns/jobid",        // batch job
        "arn:aws:emr-serverless:region:account-id:/applications/applicationId/sessions/sessionId",  // Spark Connect session
        "arn:aws:glue:region:account-id:catalog",
        "arn:aws:glue:region:account-id:database/*",
        "arn:aws:glue:region:account-id:table/*/*"
    ]
}

Considerações

Os registros do perfil do sistema para depuração são visíveis para trabalhos e sessões que acessam bancos de dados ou tabelas no Lake Formation na mesma conta do trabalho ou sessão. Eles não são visíveis nos seguintes cenários:

  • Se o catálogo de dados gerenciado usando as permissões do Lake Formation tiver bancos de dados e tabelas entre contas

  • Se o catálogo de dados gerenciado usando as permissões do Lake Formation tiver links de recursos