Amazon EMR-Cluster-Protokollierung und Debugging konfigurieren

Schritt-Protokolle – Diese Protokolle werden vom Amazon-EMR-Service generiert und enthalten Informationen über den Cluster und die Ergebnisse der einzelnen Schritte. Die Protokolldateien werden im /mnt/var/log/hadoop/steps/-Verzeichnis auf dem Primärknoten gespeichert. Jeder Schritt protokolliert seine Ergebnisse in einem separaten, nummerierten Unterverzeichnis: /mnt/var/log/hadoop/steps/s-stepId1/ für den ersten Schritt, /mnt/var/log/hadoop/steps/s-stepId2/ für den zweiten Schritt, und so weiter. Die 13-stellige Schritt-ID (z. B. stepId1 stepId2) ist für einen Cluster eindeutig.

Hadoop- und YARN-Komponentenprotokolle — Die Protokolle für Komponenten, die sowohl Apache YARN als auch zugeordnet sind MapReduce, befinden sich beispielsweise in separaten Ordnern in. /mnt/var/log Die Speicherorte der Protokolldateien für die Hadoop-Komponenten unter /mnt/var/log lauten folgendermaßen: hadoop-hdfs, hadoop-mapreduce, hadoop-httpfs und hadoop-yarn. Das hadoop-state-pusher Verzeichnis ist für die Ausgabe des Hadoop-State-Pusher-Prozesses vorgesehen.

Bootstrap-Aktion-Protokolle – Wenn Ihr Auftrag Bootstrap-Aktionen verwendet, werden die Ergebnisse dieser Aktionen protokolliert. Die Protokolldateien werden in/mnt/var/log/bootstrap-actions/ auf dem Primärknoten gespeichert. Jede Bootstrap-Aktion protokolliert ihre Ergebnisse in einem separaten, nummerierten Unterverzeichnis: /mnt/var/log/bootstrap-actions/1/ für die erste Bootstrap-Aktion, /mnt/var/log/bootstrap-actions/2/ für die zweite, und so weiter.

Instance-Statusprotokolle – Diese Protokolle enthalten Informationen über die CPU, den Arbeitsspeicher und die Garbage Collector-Threads des Knotens. Die Protokolldateien werden in /mnt/var/log/instance-state/ auf dem Primärknoten gespeichert.

Das für Ihren Cluster verwendete EC2 Amazon-Instance-Profil muss über eine Nutzungsberechtigung verfügenkms:GenerateDataKey.

Die für den Cluster verwendete Amazon-EMR-Rolle muss über die Berechtigung kms:DescribeKey verfügen.

Das EC2 Amazon-Instance-Profil und die Amazon EMR-Rolle müssen der Liste der Schlüsselbenutzer für den angegebenen kundenverwalteten AWS KMS-Schlüssel hinzugefügt werden, wie die folgenden Schritte zeigen:

Sie müssen auch den KMS-Schlüssel so konfigurieren, dass die elasticmapreduce.amazonaws.com Service Principals persistentappui.elasticmapreduce.amazonaws.com und und kms:GenerateDataKey kms:GenerateDataKeyWithoutPlaintext kms:Decrypt Auf diese Weise kann EMR mit dem KMS-Schlüssel verschlüsselte Protokolle lesen und in den verwalteten Speicher schreiben. Die Benutzer-IAM-Rolle muss über die Berechtigung zur Verwendung kms:GenerateDataKey von und verfügen. kms:Decrypt

{
   "Sid": "Allow User Role to use KMS key",
   "Effect": "Allow",
   "Principal": {
        "AWS": "User Role"
    },
    "Action": [
        "kms:Decrypt", 
        "kms:GenerateDataKey"
   ],
    "Resource": "*",
    "Condition": {
        "StringLike": {
            "kms:EncryptionContext:aws:elasticmapreduce:clusterId": "j-*",
           "kms:ViaService": "elasticmapreduce.region.amazonaws.com"
       }
    }
},
{
    "Sid": "Allow Persistent APP UI to validate KMS key for write",
    "Effect": "Allow",
    "Principal":{
        "Service": [
            "elasticmapreduce.amazonaws.com"
        ]
     },
     "Action": [
       "kms:GenerateDataKeyWithoutPlaintext"
      ],
     "Resource": "*",
     "Condition": {
        "StringLike": {
            "aws:SourceArn": "arn:aws:elasticmapreduce:region:account:cluster/j-*",
            "kms:EncryptionContext:aws:elasticmapreduce:clusterId": "j-*"
        }
     }
},
{
    "Sid": "Allow Persistent APP UI to Write/Read Logs",
    "Effect": "Allow",
    "Principal":{
        "Service": [
            "persistentappui.elasticmapreduce.amazonaws.com",
            "elasticmapreduce.amazonaws.com"
        ]
     },
     "Action": [
       "kms:Decrypt",
       "kms:GenerateDataKey"
     ],
     "Resource": "*",
     "Condition": {
        "StringLike": {
            "aws:SourceArn": "arn:aws:elasticmapreduce:region:account:cluster/j-*",
            "kms:EncryptionContext:aws:elasticmapreduce:clusterId": "j-*",
            "kms:ViaService": "s3.region.amazonaws.com"
        }
     }
}

Aus Sicherheitsgründen empfehlen wir, die aws:SourceArn Bedingungen kms:EncryptionContext und hinzuzufügen. Diese Bedingungen tragen dazu bei, dass der Schlüssel nur von Amazon EMR EC2 und nur für Protokolle verwendet wird, die von Aufträgen generiert wurden, die in einem bestimmten Cluster ausgeführt werden.