View a markdown version of this page

Depuración de trabajos y sesiones - Amazon EMR
Permisos necesariosConsideraciones

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Depuración de trabajos y sesiones

nota

Con esta característica, puede acceder a los registros stdout y stderr de los trabajadores del perfil del sistema que contengan información confidencial sin filtrar. El siguiente permiso solo se debe usar para acceder a datos que no sean de producción. En el caso de las aplicaciones creadas para uso en trabajos de producción, le recomendamos encarecidamente que incluya estos permisos únicamente para los administradores o usuarios con acceso elevado a los datos.

Amazon EMR Serverless ofrece una función de autodepuración que le permite acceder a los registros stdout y stderr de los trabajadores del perfil del sistema para una carga de trabajo de Lake. Formation-enabled Para usarlo, defina el SystemProfileLogs parámetro de acceso como true en la API del panel de control para su tipo de carga de trabajo:

  • Para un trabajo Formation-enabled por lotes de Lake (EMR-7.3.0 y versiones posteriores), usa la GetDashboardForJobRunAPI.

  • Para una sesión de Lake Formation-enabled Spark Connect (emr-7.14.0o emr-spark-8.1.0 posterior), usa la GetResourceDashboardAPI con ResourceType establecido en SESSION.

aws emr-serverless get-dashboard-for-job-run \
  --application-id application-id
  --job-run-id job-run-id
  --access-system-profile-logs
aws emr-serverless get-resource-dashboard \
  --application-id application-id \
  --resource-id session-id \
  --resource-type SESSION \
  --access-system-profile-logs

Permisos necesarios

El director que quiera realizar la depuración automática debe tener los siguientes permisos adicionales. Los // comentarios marcan qué ARN de acción y recurso se aplica a un trabajo por lotes en lugar de a una sesión de Spark Connect: conserva las entradas de tu tipo de carga de trabajo y elimina los comentarios antes de usar la política, ya que JSON no admite comentarios.

{
    "Sid": "AccessSystemProfileLogs",
    "Effect": "Allow",
    "Action": [
        "emr-serverless:GetDashboardForJobRun",    // batch job
        "emr-serverless:GetResourceDashboard",     // Spark Connect session
        "emr-serverless:AccessSystemProfileLogs",
        "glue:GetDatabases",
        "glue:SearchTables"
    ],
    "Resource": [
        "arn:aws:emr-serverless:region:account-id:/applications/applicationId/jobruns/jobid",        // batch job
        "arn:aws:emr-serverless:region:account-id:/applications/applicationId/sessions/sessionId",  // Spark Connect session
        "arn:aws:glue:region:account-id:catalog",
        "arn:aws:glue:region:account-id:database/*",
        "arn:aws:glue:region:account-id:table/*/*"
    ]
}

Consideraciones

Los registros de perfil del sistema para la depuración son visibles para los trabajos y las sesiones que acceden a bases de datos o tablas de Lake Formation desde la misma cuenta que el trabajo o la sesión. Estos no están visibles en los siguientes casos:

  • Si el catálogo de datos administrado con los permisos de Lake Formation tiene bases de datos y tablas entre cuentas

  • Si el catálogo de datos administrado con los permisos de Lake Formation tiene enlaces a recursos