Configurazione di un'esecuzione di processo per utilizzare i log Amazon S3 - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Configurazione di un'esecuzione di processo per utilizzare i log Amazon S3

Per monitorare l'avanzamento del lavoro e risolvere gli errori, devi configurare i lavori in modo da inviare informazioni di log ad Amazon S3, Amazon CloudWatch Logs o entrambi. Questo argomento fornisce le nozioni di base per inviare i log dell'applicazione ad Amazon S3 sui processi avviati con Amazon EMR su EKS.

Policy IAM dei registri S3

Prima che i processi possano inviare i dati dei log ad Amazon S3, nella policy delle autorizzazioni per il ruolo di esecuzione di processo devono essere incluse le seguenti autorizzazioni. Sostituisci amzn-s3-demo-logging-bucket con il nome del bucket di accesso.

JSON
{
  "Version":"2012-10-17",		 	 	 
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:ListBucket"
      ],
      "Resource": [
        "arn:aws:s3:::amzn-s3-demo-bucket",
        "arn:aws:s3:::amzn-s3-demo-bucket/*"
      ],
      "Sid": "AllowS3Putobject"
    }
  ]
}
Nota

Amazon EMR su EKS può anche creare un bucket Amazon S3. Se un bucket Amazon S3 non è disponibile, includi l'autorizzazione “s3:CreateBucket” nella policy IAM.

Dopo aver assegnato al ruolo di esecuzione le autorizzazioni appropriate per l'invio dei log ad Amazon S3, i dati dei log vengono inviati alle seguenti posizioni Amazon S3 quando s3MonitoringConfiguration viene trasmesso nella sezione monitoringConfiguration di una richiesta start-job-run, come mostrato in La gestione dei job viene eseguita con AWS CLI.

  • Registri degli utenti -//jobs/ /containers//(stderr.gz/stdout.gz) logUri virtual-cluster-id job-id pod-name

  • Registri dei driver -/logUrivirtual-cluster-id/jobs/ job-id /containers/ /spark- spark-application-id -driver/ job-id (stderr.gz/stdout.gz)

  • Registri degli esecutori -logUri/virtual-cluster-id/jobs/ job-id /containers/executor-pod-name/(spark-application-idstderr.gz/stdout.gz)