Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Veröffentlichen Sie Amazon EMR-Protokolle in CloudWatch Logs

-Übersicht

Amazon EMR on EC2 bietet eine native Integration mit Amazon CloudWatch Logs, sodass Sie Cluster-Protokolle direkt an CloudWatch diese senden können. Diese Funktion vereinfacht die Protokollverwaltung und bietet zentralen Zugriff auf Ihre EMR-Cluster-Protokolle zur Überwachung, Fehlerbehebung und Analyse.

Wenn die CloudWatch Protokollierung aktiviert ist, können Sie automatisch Protokolle aus Ihren EMR-Clustern erfassen und an CloudWatch Protokollgruppen streamen. Dazu gehören Protokolle zur Schrittausführung, Spark-Treiberprotokolle und Spark-Executor-Protokolle, sodass Sie einen umfassenden Einblick in Ihre Clustervorgänge und das Anwendungsverhalten erhalten.

Die CloudWatch Protokollierungsfunktion ist ab Amazon EMR Version 7.11.0 verfügbar und wird bei der Erstellung Ihres Clusters über den MonitoringConfiguration Parameter konfiguriert. Nach der Aktivierung werden die Protokolle bei ihrer Generierung automatisch gestreamt, sodass über die Konsole oder API nahezu in Echtzeit auf Protokolldaten zugegriffen werden kann. CloudWatch CloudWatch

Voraussetzungen

Bevor Sie die CloudWatch Protokollierung für Ihren EMR-Cluster aktivieren, stellen Sie sicher, dass die folgenden Voraussetzungen erfüllt sind:

Berechtigungen

Der CloudWatch Agent benötigt spezielle AWS Identity and Access Management(IAM-) Berechtigungen, um Protokollgruppen zu erstellen, Protokollstreams zu erstellen und Protokollereignisse in Logs zu schreiben. CloudWatch Diese Berechtigungen müssen an das EC2 Amazon-Instance-Profil angehängt werden, das von Ihrem EMR-Cluster verwendet wird.

Erforderliche IAM-Richtlinie

Fügen Sie Ihrem EC2 Instance-Profil für Amazon EMR die folgende Richtlinie hinzu, um die erforderlichen Berechtigungen zu gewähren:

{
  "Version": "2012-10-17", 		 	 	 
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "logs:PutLogEvents",
        "logs:PutRetentionPolicy",
        "logs:DescribeLogStreams",
        "logs:DescribeLogGroups",
        "logs:CreateLogStream",
        "logs:CreateLogGroup"
      ],
      "Resource": "*",
      "Sid": "AllowCWACloudWatchLogs"
    }
  ]
}

Richtlinie anhängen

So fügen Sie diese Richtlinie Ihrem EC2 Instanzprofil für EMR hinzu:

Weitere Informationen zu IAM-Rollen für Amazon EMR finden Sie unter Konfigurieren von IAM-Rollen für Amazon EMR-Berechtigungen für AWS Dienste und Ressourcen im Amazon EMR Management Guide.

CloudWatch Protokollierung konfigurieren

Sie können die CloudWatch Protokollierung aktivieren, wenn Sie einen neuen EMR-Cluster über die AWS Management Console erstellen AWS CLI, oder AWS SDKs. Die Konfiguration wird über den MonitoringConfiguration Parameter angegeben.

Verwenden der AWS Managementkonsole

So erstellen Sie einen Cluster mit CloudWatch Protokollierung von der Konsole aus:

Nachdem der Cluster erstellt wurde, können Sie auf der Seite mit den CloudWatch EMR-Clusterdetails unter Clusterverwaltung → Protokollziel in Amazon CloudWatch auf den Link Logs zugreifen.

Verwenden Sie den AWS CLI

Sie können die CloudWatch Protokollierung AWS CLI mit dem create-cluster Befehl aktivieren. Der CloudWatch Agent muss im --applications Parameter enthalten sein, und die Protokollierung wird über den --monitoring-configuration Parameter konfiguriert.

Beispiel: Standardkonfiguration

EMR erfasst automatisch nur Schrittprotokolle und Spark-Treiberprotokolle und sendet sie an die Standard-Protokollgruppe.

aws emr create-cluster \
  --name "EMR cluster with CloudWatch Logs" \
  --release-label emr-7.11.0 \
  --applications Name=Spark Name=AmazonCloudWatchAgent \
  --instance-type m7g.2xlarge \
  --instance-count 3 \
  --use-default-roles \
  --monitoring-configuration '{
    "CloudWatchLogConfiguration": {
      "Enabled": true
    }
  }'

Bei Verwendung der Standardkonfiguration:

Beispiel: Benutzerdefinierte Konfiguration

Dieses Beispiel zeigt eine benutzerdefinierte Konfiguration mit bestimmten Protokollgruppennamen, KMS-Verschlüsselung und ausgewählten Protokolltypen.

aws emr create-cluster \
  --name "EMR cluster with custom CloudWatch Logs" \
  --release-label emr-7.11.0 \
  --applications Name=Spark Name=AmazonCloudWatchAgent \
  --instance-type m7g.2xlarge \
  --instance-count 3 \
  --use-default-roles \
  --monitoring-configuration '{
    "CloudWatchLogConfiguration": {
      "Enabled": true,
      "LogGroupName": "/my-company/emr/production",
      "LogStreamNamePrefix": "cluster-prod",
      "EncryptionKeyArn": "arn:aws:kms:us-east-1:123456789012:key/12345678-1234-1234-1234-123456789012",
      "LogTypes": {
        "STEP_LOGS": ["STDOUT", "STDERR"],
        "SPARK_DRIVER": ["STDOUT", "STDERR"],
        "SPARK_EXECUTOR": ["STDERR", "STDOUT"]
      }
    }
  }'

Diese Konfiguration:

Weitere Informationen zur Verwendung von AWS CLI mit Amazon EMR finden Sie in der AWS CLI Befehlsreferenz für EMR.

Konfigurationsreferenz

CloudWatchLogConfiguration Parameter

Das CloudWatchLogConfigurationv Objekt unterstützt die folgenden Parameter:

Typen von Protokollen

Amazon EMR unterstützt drei Protokolltypen, von denen jeder sowohl Standardausgabe- als auch Standardfehlerströme erfasst:

Konfiguration der Standard-Protokolltypen

Wenn Sie den LogTypes Parameter nicht angeben, verwendet EMR die folgende Standardkonfiguration:

"LogTypes": {
  "STEP_LOGS": ["STDOUT", "STDERR"],
  "SPARK_DRIVER": ["STDOUT", "STDERR"]
}

Konfiguration der benutzerdefinierten Protokolltypen

Sie können anpassen, welche Protokolltypen erfasst werden sollen, indem Sie den LogTypes Parameter explizit angeben. Um beispielsweise nur Schrittprotokolle zu erfassen:

"LogTypes": {
  "STEP_LOGS": ["STDOUT", "STDERR"]
}

Oder um nur Standardfehler von Spark-Treibern zu erfassen:

"LogTypes": {
  "SPARK_DRIVER": ["STDERR"]
}

Benennung von Protokollgruppen und Streams

CloudWatch organisiert Logs in Log-Gruppen und Log-Streams:

Protokolle verschlüsseln mit AWS KMS

Sie können Ihre CloudWatch Protokolle im Ruhezustand mit AWS Key Management Service (KMS) verschlüsseln. Um die Verschlüsselung zu aktivieren:

Ausführliche Informationen zum Verschlüsseln von CloudWatch Protokolldaten finden Sie unter Verschlüsseln von Protokolldaten in CloudWatch Logs using. AWS Key Management Service

Beispiel mit KMS-Verschlüsselung

{
  "CloudWatchLogConfiguration": {
    "Enabled": true,
    "EncryptionKeyArn": "arn:aws:kms:us-east-1:123456789012:key/12345678-1234-1234-1234-123456789012"
  }
}

Logs anzeigen CloudWatch

Wenn Ihr Cluster mit aktivierter CloudWatch Protokollierung ausgeführt wird, können Sie Ihre Protokolle über die CloudWatch Konsole oder API anzeigen und analysieren.

Von der EMR-Konsole aus auf Protokolle zugreifen

Am schnellsten können Sie direkt von der EMR-Konsole aus auf Ihre Cluster-Logs zugreifen:

Über diesen Link gelangen Sie direkt zur CloudWatch Logs-Konsole, die nach der Protokollgruppe Ihres Clusters gefiltert wurde.

Von der CloudWatch Konsole aus auf Logs zugreifen

So navigieren Sie manuell zu Ihren Logs in CloudWatch:

Weitere Informationen zur Arbeit mit CloudWatch Logs finden Sie im Amazon CloudWatch Logs-Benutzerhandbuch.

Überlegungen

CloudWatch Verhalten der Agenten

Der Amazon CloudWatch Agent bietet sowohl Metriken als auch Protokollierungsfunktionen:

Nur die CloudWatch Protokollierung aktivieren ( CloudWatch Metriken deaktivieren)

Wenn Sie die CloudWatch Protokollierung aktivieren, aber die Funktion zur Erfassung von Metriken deaktivieren möchten, können Sie den CloudWatch Agenten so konfigurieren, dass der Export von Metriken beendet wird. Fügen Sie Ihrer Clusterkonfiguration die folgende Klassifizierung hinzu:

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-system-metrics",
        "Properties": {},
        "Configurations": []
      }
    ]
  }
]

Weitere Informationen zu CloudWatch Metriken finden Sie unter Metriken mit Amazon überwachen CloudWatch.

Bekannte Beschränkungen

Anforderungen an private Subnetze

Um CloudWatch Protokolle in Logs für einen EMR-Cluster in einem privaten Subnetz zu veröffentlichen, erstellen Sie den VPC-Endpunkt CloudWatch Logs und verknüpfen Sie ihn mit der VPC Ihres Clusters.

Weitere Informationen zu CloudWatch Logs-Endpunkten finden Sie unter Amazon CloudWatch Logs-Endpunkte und Kontingente im AWS Allgemeinen Referenzhandbuch.

Kostenüberlegungen

CloudWatch Die Gebühren für Logs basieren auf:

So senken Sie die Kosten:

Aktuelle Preisinformationen finden Sie unter CloudWatch Amazon-Preise.

Weitere Ressourcen