Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Publier les journaux Amazon EMR dans Logs CloudWatch

Présentation de

Amazon EMR on EC2 fournit une intégration native à Amazon CloudWatch Logs, vous permettant d'envoyer des journaux de cluster directement à CloudWatch cette fonctionnalité. Cette fonctionnalité simplifie la gestion des journaux et fournit un accès centralisé à vos journaux de cluster EMR à des fins de surveillance, de dépannage et d'analyse.

Lorsque la CloudWatch journalisation est activée, vous pouvez automatiquement capturer et diffuser les journaux de vos clusters EMR vers des groupes de CloudWatch journaux. Cela inclut les journaux d'exécution des étapes, les journaux des pilotes Spark et les journaux des exécuteurs Spark, qui vous offrent une visibilité complète sur les opérations de votre cluster et le comportement des applications.

La fonctionnalité de CloudWatch journalisation est disponible à partir de la version 7.11.0 d'Amazon EMR et est configurée via le MonitoringConfiguration paramètre lors de la création de votre cluster. Une fois activé, les journaux sont automatiquement diffusés au CloudWatch fur et à mesure de leur génération, ce qui permet d'accéder aux données des journaux en temps quasi réel via la CloudWatch console ou l'API.

Conditions préalables

Avant d'activer la CloudWatch journalisation pour votre cluster EMR, assurez-vous que les conditions préalables suivantes sont remplies :

Permissions

L' CloudWatch agent a besoin d'autorisations spécifiques AWS Identity and Access Management(IAM) pour créer des groupes de journaux, créer des flux de journaux et écrire des événements de journal dans des CloudWatch journaux. Ces autorisations doivent être associées au profil d' EC2 instance Amazon utilisé par votre cluster EMR.

Politique IAM requise

Ajoutez la politique suivante à votre profil d'EC2 instance pour qu'Amazon EMR accorde les autorisations nécessaires :

{
  "Version": "2012-10-17", 		 	 	 
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "logs:PutLogEvents",
        "logs:PutRetentionPolicy",
        "logs:DescribeLogStreams",
        "logs:DescribeLogGroups",
        "logs:CreateLogStream",
        "logs:CreateLogGroup"
      ],
      "Resource": "*",
      "Sid": "AllowCWACloudWatchLogs"
    }
  ]
}

Joindre la politique

Pour associer cette politique à votre profil d' EC2 instance pour EMR :

Pour plus d'informations sur les rôles IAM pour Amazon EMR, consultez Configurer les rôles IAM pour les autorisations Amazon EMR relatives AWS aux services et aux ressources dans le guide de gestion Amazon EMR.

Configuration de la CloudWatch journalisation

Vous pouvez activer la CloudWatch journalisation lors de la création d'un nouveau cluster EMR via la console AWS de gestion AWS CLI, ou. AWS SDKs La configuration est spécifiée par le biais du MonitoringConfiguration paramètre.

Utilisation de la console AWS de gestion

Pour créer un cluster avec CloudWatch journalisation depuis la console :

Une fois le cluster créé, vous pouvez accéder au lien CloudWatch Logs depuis la page Détails du cluster EMR sous Gestion du cluster → Destination du journal sur Amazon. CloudWatch

À l'aide du AWS CLI

Vous pouvez activer la CloudWatch journalisation à l'aide AWS CLI de la create-cluster commande with. L' CloudWatch agent doit être inclus dans le --applications paramètre, et la journalisation est configurée via le --monitoring-configuration paramètre.

Exemple : configuration par défaut

EMR capturera automatiquement les journaux des étapes et les journaux des pilotes Spark uniquement et les enverra au groupe de journaux par défaut.

aws emr create-cluster \
  --name "EMR cluster with CloudWatch Logs" \
  --release-label emr-7.11.0 \
  --applications Name=Spark Name=AmazonCloudWatchAgent \
  --instance-type m7g.2xlarge \
  --instance-count 3 \
  --use-default-roles \
  --monitoring-configuration '{
    "CloudWatchLogConfiguration": {
      "Enabled": true
    }
  }'

Lorsque vous utilisez la configuration par défaut :

Exemple : configuration personnalisée

Cet exemple illustre une configuration personnalisée avec des noms de groupes de journaux spécifiques, un chiffrement KMS et des types de journaux sélectifs.

aws emr create-cluster \
  --name "EMR cluster with custom CloudWatch Logs" \
  --release-label emr-7.11.0 \
  --applications Name=Spark Name=AmazonCloudWatchAgent \
  --instance-type m7g.2xlarge \
  --instance-count 3 \
  --use-default-roles \
  --monitoring-configuration '{
    "CloudWatchLogConfiguration": {
      "Enabled": true,
      "LogGroupName": "/my-company/emr/production",
      "LogStreamNamePrefix": "cluster-prod",
      "EncryptionKeyArn": "arn:aws:kms:us-east-1:123456789012:key/12345678-1234-1234-1234-123456789012",
      "LogTypes": {
        "STEP_LOGS": ["STDOUT", "STDERR"],
        "SPARK_DRIVER": ["STDOUT", "STDERR"],
        "SPARK_EXECUTOR": ["STDERR", "STDOUT"]
      }
    }
  }'

Cette configuration :

Pour plus d'informations sur l'utilisation du AWS CLI avec Amazon EMR, consultez le manuel de référence des AWS CLI commandes EMR.

Référence de configuration

CloudWatchLogConfiguration Paramètres

L'CloudWatchLogConfigurationvobjet prend en charge les paramètres suivants :

Types de journaux

Amazon EMR prend en charge trois types de journaux, chacun capturant à la fois les flux de sortie standard et les flux d'erreur standard :

Configuration des types de journaux par défaut

Lorsque vous ne spécifiez pas le LogTypes paramètre, EMR utilise la configuration par défaut suivante :

"LogTypes": {
  "STEP_LOGS": ["STDOUT", "STDERR"],
  "SPARK_DRIVER": ["STDOUT", "STDERR"]
}

Configuration des types de journaux personnalisés

Vous pouvez personnaliser les types de journaux à capturer en spécifiant explicitement le LogTypes paramètre. Par exemple, pour capturer uniquement les journaux des étapes :

"LogTypes": {
  "STEP_LOGS": ["STDOUT", "STDERR"]
}

Ou pour capturer uniquement l'erreur standard des pilotes Spark :

"LogTypes": {
  "SPARK_DRIVER": ["STDERR"]
}

Dénomination des groupes de journaux et des flux

CloudWatch organise les journaux en groupes de journaux et en flux de journaux :

Chiffrer les journaux avec AWS KMS

Vous pouvez chiffrer vos CloudWatch journaux au repos à l'aide de AWS Key Management Service (KMS). Pour activer le chiffrement :

Pour des informations détaillées sur le chiffrement des données des CloudWatch journaux, voir Chiffrer les données des journaux dans les CloudWatch journaux à l'aide de. AWS Key Management Service

Exemple avec le chiffrement KMS

{
  "CloudWatchLogConfiguration": {
    "Enabled": true,
    "EncryptionKeyArn": "arn:aws:kms:us-east-1:123456789012:key/12345678-1234-1234-1234-123456789012"
  }
}

Afficher les connexions CloudWatch

Une fois que votre cluster est en cours d'exécution avec la CloudWatch journalisation activée, vous pouvez consulter et analyser vos journaux via la CloudWatch console ou l'API.

Accès aux journaux depuis la console EMR

Le moyen le plus rapide d'accéder aux journaux de votre cluster est directement depuis la console EMR :

Ce lien vous amène directement à la console CloudWatch Logs filtrée en fonction du groupe de journaux de votre cluster.

Accès aux journaux depuis la CloudWatch console

Pour accéder manuellement à vos identifiants CloudWatch :

Pour plus d'informations sur l'utilisation des CloudWatch journaux, consultez le guide de l'utilisateur Amazon CloudWatch Logs.

Considérations

CloudWatch Comportement des agents

L' CloudWatch agent Amazon fournit à la fois des métriques et des fonctionnalités de journalisation :

Activation de la CloudWatch journalisation uniquement (désactivation CloudWatch des métriques)

Si vous souhaitez activer la CloudWatch journalisation mais désactiver la fonctionnalité de collecte des métriques, vous pouvez configurer l' CloudWatch agent pour arrêter d'exporter les métriques. Ajoutez la classification suivante à la configuration de votre cluster :

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-system-metrics",
        "Properties": {},
        "Configurations": []
      }
    ]
  }
]

Pour plus d'informations sur CloudWatch les métriques, consultez Surveiller les métriques avec Amazon CloudWatch.

Limitations connues

Exigences relatives aux sous-réseaux privés

Pour publier des journaux dans CloudWatch les journaux d'un cluster EMR dans un sous-réseau privé, créez et associez le point de terminaison Logs CloudWatch VPC au VPC de votre cluster.

Pour plus d'informations sur les points de terminaison de CloudWatch Logs, consultez la section Points de terminaison et quotas Amazon CloudWatch Logs dans le Guide de référence AWS général.

Considérations de coût

CloudWatch Les frais de journalisation sont basés sur :

Afin d’optimiser les coûts :

Pour obtenir des informations sur les prix actuels, consultez Amazon CloudWatch Pricing.

Ressources supplémentaires