Débogage de tâches - Amazon EMR
Autorisations requisesConsidérations

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Débogage de tâches

Note

Grâce à cette fonctionnalité, accédez aux journaux stdout et stderr pour les responsables du profil du système qui peuvent contenir des informations sensibles et non filtrées. L'autorisation suivante ne doit être utilisée que pour accéder à des données non liées à la production. Pour les applications créées pour être utilisées avec des tâches de production, nous vous conseillons vivement d'attribuer ces autorisations uniquement aux administrateurs ou aux utilisateurs disposant d'un accès élevé aux données.

Avec EMR-7.3.0 et versions ultérieures, EMR Serverless permet d'activer la fonctionnalité d'auto-débogage pour les tâches par lots compatibles avec Lake Formation. Pour ce faire, utilisez le nouveau paramètre accessSystemProfileLogs dans l'GetDashboardForJobRunAPI. Si accessSystemProfileLogs est défini sur true, vous pouvez accéder aux journaux stdout et stderr pour les gestionnaires de profils système, qui peuvent être utilisés pour déboguer une tâche par lots EMR sans serveur compatible avec Lake Formation.

aws emr-serverless get-dashboard-for-job-run \
  --application-id application-id
  --job-run-id job-run-id
  --access-system-profile-logs

Autorisations requises

Le principal qui souhaite déboguer des tâches par lots compatibles avec Lake Formation à l'aide de Lake Formation GetDashboardForJobRundoit disposer des autorisations supplémentaires suivantes :

{
    "Sid": "AccessSystemProfileLogs",
    "Effect": "Allow",
    "Action": [
        "emr-serverless:GetDashboardForJobRun",
        "emr-serverless:AccessSystemProfileLogs",
        "glue:GetDatabases",
        "glue:SearchTables"
    ],
    "Resource": [
        "arn:aws:emr-serverless:region:account-id:/applications/applicationId/jobruns/jobid",
        "arn:aws:glue:region:account-id:catalog",
        "arn:aws:glue:region:account-id:database/*",
        "arn:aws:glue:region:account-id:table/*/*"
    ]
}

Considérations

Les journaux de profil système destinés au débogage sont visibles pour les tâches qui accèdent aux bases de données ou aux tables de Lake Formation avec le même compte que la tâche. Ils ne sont pas visibles dans les scénarios suivants :

  • Si le catalogue de données géré à l'aide des autorisations de Lake Formation comporte des bases de données et des tables entre comptes

  • Si le catalogue de données géré à l'aide des autorisations de Lake Formation comporte des liens vers des ressources