Eine Aufgabenausführung für die Verwendung von Amazon-S3-Protokollen konfigurieren - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Eine Aufgabenausführung für die Verwendung von Amazon-S3-Protokollen konfigurieren

Um den Auftragsfortschritt überwachen und Fehler beheben zu können, müssen Sie Ihre Jobs so konfigurieren, dass Protokollinformationen an Amazon S3, Amazon CloudWatch Logs oder beide gesendet werden. Dieses Thema hilft Ihnen bei den ersten Schritten beim Veröffentlichen von Anwendungsprotokollen in Amazon S3 für Ihre Aufträge, die mit Amazon EMR in EKS gestartet wurden.

S3 protokolliert die IAM-Richtlinie

Bevor Ihre Aufträge Protokolldaten an Amazon S3 senden können, müssen die folgenden Berechtigungen in der Berechtigungsrichtlinie für die Auftragausführungsrolle enthalten sein. amzn-s3-demo-logging-bucketErsetzen Sie es durch den Namen Ihres Logging-Buckets.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:GetObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::amzn-s3-demo-logging-bucket",
                "arn:aws:s3:::amzn-s3-demo-logging-bucket/*",
            ]
        }
    ]
}
Anmerkung

Amazon EMR in EKS kann auch einen Amazon-S3-Bucket erstellen. Wenn ein Amazon-S3-Bucket nicht verfügbar ist, nehmen Sie die “s3:CreateBucket”-Erlaubnis in die IAM-Richtlinie auf.

Nachdem Sie Ihrer Ausführungsrolle die entsprechenden Berechtigungen zum Senden von Protokollen an Amazon S3 erteilt haben, werden Ihre Protokolldaten an die folgenden Amazon-S3-Speicherorte gesendet, wenn s3MonitoringConfiguration im monitoringConfiguration Abschnitt einer start-job-run-Anforderung übergeben werden, wie unter Die Verwaltung von Jobläufen erfolgt mit dem AWS CLI beschrieben.

  • Protokolle des Absenders —//virtual-cluster-id/jobs/ /containers/logUri/(stderr.gz/stdout.gzjob-id) pod-name

  • Treiberprotokolle -//logUrivirtual-cluster-id/jobs/ job-id /containers/ /spark- spark-application-id -driver/ job-id (stderr.gz/stdout.gz)

  • Ausführungsprotokolle -/logUri/virtual-cluster-id/jobs/ job-id /containers//executor-pod-name/(spark-application-idstderr.gz/stdout.gz)