Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Pubblica i log di Amazon EMR su Logs CloudWatch

Panoramica di

Amazon EMR on EC2 fornisce l'integrazione nativa con Amazon CloudWatch Logs, consentendoti di inviare i log del cluster direttamente a CloudWatch Questa funzionalità semplifica la gestione dei log e fornisce un accesso centralizzato ai log del cluster EMR per il monitoraggio, la risoluzione dei problemi e l'analisi.

Con CloudWatch la registrazione abilitata, è possibile acquisire e trasmettere automaticamente i log dai cluster EMR ai gruppi di log. CloudWatch Ciò include i registri di esecuzione delle fasi, i registri dei driver Spark e i registri degli esecutori Spark, che offrono una visibilità completa sulle operazioni del cluster e sul comportamento delle applicazioni.

La funzionalità CloudWatch di registrazione è disponibile a partire dalla release 7.11.0 di Amazon EMR ed è configurata tramite MonitoringConfiguration il parametro durante la creazione del cluster. Una volta abilitata, i log vengono trasmessi automaticamente in streaming CloudWatch man mano che vengono generati, fornendo un accesso quasi in tempo reale ai dati di registro tramite la console o l'API. CloudWatch

Prerequisiti

Prima di abilitare CloudWatch la registrazione per il cluster EMR, assicurati che siano soddisfatti i seguenti prerequisiti:

Permissions

L' CloudWatch agente richiede autorizzazioni specifiche AWS Identity and Access Management(IAM) per creare gruppi di log, creare flussi di log e scrivere eventi di registro nei registri. CloudWatch Queste autorizzazioni devono essere allegate al profilo dell' EC2 istanza Amazon utilizzato dal tuo cluster EMR.

Policy IAM richiesta

Aggiungi la seguente policy al tuo profilo di EC2 istanza per Amazon EMR per concedere le autorizzazioni necessarie:

{
  "Version": "2012-10-17", 		 	 	 
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "logs:PutLogEvents",
        "logs:PutRetentionPolicy",
        "logs:DescribeLogStreams",
        "logs:DescribeLogGroups",
        "logs:CreateLogStream",
        "logs:CreateLogGroup"
      ],
      "Resource": "*",
      "Sid": "AllowCWACloudWatchLogs"
    }
  ]
}

Allegare la policy

Per allegare questa policy al tuo profilo di EC2 istanza per EMR:

Per ulteriori informazioni sui ruoli IAM per Amazon EMR, consulta Configura i ruoli IAM per le autorizzazioni di Amazon EMR per AWS servizi e risorse nella Amazon EMR Management Guide.

Configurazione della registrazione CloudWatch

È possibile abilitare CloudWatch la registrazione durante la creazione di un nuovo cluster EMR tramite AWS la console di gestione AWS CLI, oppure. AWS SDKs La configurazione viene specificata tramite il MonitoringConfiguration parametro.

Utilizzo della console AWS di gestione

Per creare un cluster con CloudWatch registrazione dalla console:

Dopo aver creato il cluster, puoi accedere al link CloudWatch Logs dalla pagina EMR Cluster Details in Gestione cluster → Log destination in Amazon. CloudWatch

Usando il AWS CLI

È possibile abilitare CloudWatch la registrazione utilizzando AWS CLI il create-cluster comando. L' CloudWatch agente deve essere incluso nel --applications parametro e la registrazione viene configurata tramite il --monitoring-configuration parametro.

Esempio: configurazione predefinita

EMR acquisirà automaticamente i registri dei passaggi e solo i registri dei driver Spark e li invierà al gruppo di log predefinito.

aws emr create-cluster \
  --name "EMR cluster with CloudWatch Logs" \
  --release-label emr-7.11.0 \
  --applications Name=Spark Name=AmazonCloudWatchAgent \
  --instance-type m7g.2xlarge \
  --instance-count 3 \
  --use-default-roles \
  --monitoring-configuration '{
    "CloudWatchLogConfiguration": {
      "Enabled": true
    }
  }'

Quando si utilizza la configurazione predefinita:

Esempio: configurazione personalizzata

Questo esempio dimostra una configurazione personalizzata con nomi di gruppi di log specifici, crittografia KMS e tipi di log selettivi.

aws emr create-cluster \
  --name "EMR cluster with custom CloudWatch Logs" \
  --release-label emr-7.11.0 \
  --applications Name=Spark Name=AmazonCloudWatchAgent \
  --instance-type m7g.2xlarge \
  --instance-count 3 \
  --use-default-roles \
  --monitoring-configuration '{
    "CloudWatchLogConfiguration": {
      "Enabled": true,
      "LogGroupName": "/my-company/emr/production",
      "LogStreamNamePrefix": "cluster-prod",
      "EncryptionKeyArn": "arn:aws:kms:us-east-1:123456789012:key/12345678-1234-1234-1234-123456789012",
      "LogTypes": {
        "STEP_LOGS": ["STDOUT", "STDERR"],
        "SPARK_DRIVER": ["STDOUT", "STDERR"],
        "SPARK_EXECUTOR": ["STDERR", "STDOUT"]
      }
    }
  }'

Questa configurazione:

Per ulteriori informazioni sull'utilizzo di AWS CLI con Amazon EMR, consulta il AWS CLI Command Reference for EMR.

Informazioni di riferimento sulla configurazione

CloudWatchLogConfiguration Parametri

L'CloudWatchLogConfigurationvoggetto supporta i seguenti parametri:

Tipi di log

Amazon EMR supporta tre tipi di log, ciascuno dei quali acquisisce sia flussi di output standard che flussi di errore standard:

Configurazione dei tipi di registro predefiniti

Quando non si specifica il LogTypes parametro, EMR utilizza la seguente configurazione predefinita:

"LogTypes": {
  "STEP_LOGS": ["STDOUT", "STDERR"],
  "SPARK_DRIVER": ["STDOUT", "STDERR"]
}

Configurazione dei tipi di registro personalizzati

È possibile personalizzare i tipi di registro da acquisire specificando esplicitamente il LogTypes parametro. Ad esempio, per acquisire solo i registri dei passaggi:

"LogTypes": {
  "STEP_LOGS": ["STDOUT", "STDERR"]
}

O per rilevare solo gli errori standard dei driver Spark:

"LogTypes": {
  "SPARK_DRIVER": ["STDERR"]
}

Denominazione dei gruppi di log e degli stream

CloudWatch organizza i log in gruppi di log e flussi di log:

Crittografia dei log con AWS KMS

È possibile crittografare i CloudWatch registri inattivi utilizzando AWS Key Management Service (KMS). Per abilitare la crittografia:

Per informazioni dettagliate sulla crittografia dei dati dei CloudWatch registri, consulta Crittografare i dati di registro in CloudWatch Logs using. AWS Key Management Service

Esempio con crittografia KMS

{
  "CloudWatchLogConfiguration": {
    "Enabled": true,
    "EncryptionKeyArn": "arn:aws:kms:us-east-1:123456789012:key/12345678-1234-1234-1234-123456789012"
  }
}

Visualizzazione dei log in CloudWatch

Dopo l'esecuzione del cluster con CloudWatch la registrazione abilitata, puoi visualizzare e analizzare i log tramite la CloudWatch console o l'API.

Accesso ai log dalla console EMR

Il modo più veloce per accedere ai log del cluster è direttamente dalla console EMR:

Questo link ti porta direttamente alla console CloudWatch Logs filtrata in base al gruppo di log del tuo cluster.

Accesso ai log dalla console CloudWatch

Per accedere manualmente ai tuoi dati di accesso: CloudWatch

Per ulteriori informazioni sull'utilizzo dei CloudWatch log, consulta la Amazon CloudWatch Logs User Guide.

Considerazioni

CloudWatch Comportamento dell'agente

Amazon CloudWatch Agent fornisce sia parametri che funzionalità di registrazione:

Attivazione della sola CloudWatch registrazione (disabilitazione delle metriche) CloudWatch

Se si desidera abilitare la CloudWatch registrazione ma disabilitare la funzionalità di raccolta delle metriche, è possibile configurare l' CloudWatch agente in modo che interrompa l'esportazione delle metriche. Aggiungi la seguente classificazione alla configurazione del cluster:

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-system-metrics",
        "Properties": {},
        "Configurations": []
      }
    ]
  }
]

Per ulteriori informazioni sui CloudWatch parametri, consulta Monitora i parametri con Amazon. CloudWatch

Limiti noti

Requisiti della sottorete privata

Per pubblicare i log su CloudWatch Logs for un cluster EMR in una sottorete privata, create e associate l'endpoint Logs CloudWatch VPC al VPC del cluster.

Per ulteriori informazioni sugli endpoint CloudWatch Logs, consulta gli endpoint e le quote di Amazon CloudWatch Logs nella General Reference Guide.AWS

Considerazioni sui costi

CloudWatch I costi di Logs si basano su:

Per ottimizzare i costi:

Per informazioni aggiornate sui prezzi, consulta la pagina CloudWatch dei prezzi di Amazon.

Risorse aggiuntive