Créez un cluster EMR qui utilise l'agent Amazon Amazon Amazon CloudWatch - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Créez un cluster EMR qui utilise l'agent Amazon Amazon Amazon CloudWatch

Les procédures de cette section décrivent les étapes de création d'un cluster dans Amazon EMR avec l' CloudWatch agent Amazon à partir de la AWS Management Console et de la. AWS CLI

Autorisations IAM requises pour l'agent CloudWatch

L' CloudWatch agent a besoin de l'cloudwatch:PutMetricDataautorisation AWS Identity and Access Management (IAM) dans le profil d' EC2 instance Amazon pour Amazon EMR. Le rôle par défaut d’Amazon EMR dispose déjà de cette autorisation. Vous pouvez créer le rôle par défaut à partir du AWS CLI withaws emr create-default-roles. Pour plus d'informations, consultez la section Rôle de service pour les EC2 instances de cluster (profil d'EC2 instance) dans le guide de gestion Amazon EMR.

L’exemple de politique IAM suivant inclut l’autorisation cloudwatch:PutMetricData.

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": "cloudwatch:PutMetricData", "Resource": "*" } ] }

Point de terminaison CloudWatch d'agent requis

Pour publier des métriques CloudWatch pour un cluster EMR dans un sous-réseau privé, créez un point de terminaison d' CloudWatch agent et associez-le au VPC dans lequel se trouve le sous-réseau privé.

Pour plus d'informations sur les CloudWatch points de terminaison de chacun Région AWS, consultez la section CloudWatch Points de terminaison et quotas Amazon dans le Guide de référence AWS général.

Créer un cluster EMR

Une fois que vous avez configuré les autorisations et le point de terminaison requis pour une utilisation avec l' CloudWatch agent, utilisez la AWS Management Console ou la AWS CLI pour créer un cluster avec l'agent installé.

Console
Pour créer un cluster avec l' CloudWatch agent Amazon Amazon depuis la console
  1. Accédez à la console Amazon EMR.

  2. Choisissez Créer un cluster.

  3. Sous Nom et applications, choisissez Amazon EMR 7.0.0 ou version ultérieure.

  4. Sous Offre d'applications, sélectionnez l'offre ou les applications à installer sur votre cluster, et incluez CloudWatch l'agent dans votre sélection.

  5. Procédez à la création du cluster adapté à votre cas d’utilisation.

AWS CLI

Dans le AWS CLI, vous pouvez ajouter CloudWatch l'agent Amazon à un cluster avec le --applications paramètre pourcreate-cluster.

Pour créer un cluster avec l' CloudWatch agent Amazon à partir du AWS CLI
  • Lorsque vous créez un cluster, utilisez une commande similaire à ce qui suit pour inclure l' CloudWatch agent Amazon. myKeyRemplacez-le par le nom de votre paire de EC2 clés.

    aws emr create-cluster --name "Spark cluster with CloudWatch agent" \ --release-label emr-7.0.0 \ --applications Name=Spark Name=AmazonCloudWatchAgent \ --ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \ --instance-count 3 --use-default-roles

Pour plus d'informations sur l'utilisation d'Amazon EMR avec la AWS CLI, consultez la page AWS CLI Command Reference.