Utilisation d'une politique de résiliation automatique pour le nettoyage du cluster Amazon EMR - Amazon EMR
ConsidérationsAutorisations d'utilisation de la résiliation automatiqueAttacher, mettre à jour ou supprimer une politique de résiliation automatique

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisation d'une politique de résiliation automatique pour le nettoyage du cluster Amazon EMR

Une politique de résiliation automatique vous permet d'orchestrer le nettoyage des clusters sans avoir à surveiller et à résilier manuellement les clusters inutilisés. Lorsque vous ajoutez une politique de résiliation automatique à un cluster, vous spécifiez la durée d'inactivité après laquelle le cluster doit se résilier automatiquement..

Selon la version publiée, Amazon EMR utilise différents critères pour marquer un cluster comme inactif. Le tableau suivant explique comment Amazon EMR détermine l'inactivité du cluster.

Lorsque vous utilisez... Un cluster est considéré comme inactif lorsque...
Amazon EMR versions 5.34.0 et ultérieures, et 6.4.0 et versions ultérieures

  • Aucune application YARN n'est active

  • L'utilisation du HDFS est inférieure à 10 %

  • Aucune connexion à un bloc-notes EMR ou à EMR Studio n'est active

  • Aucune interface utilisateur d'application intégrée au cluster n'est utilisée

  • Il n'y a aucune étape en attente
Versions d'Amazon EMR 5.30.0 à 5.33.0 et 6.1.0 à 6.3.0

  • Aucune application YARN n'est active

  • Le cluster n'a aucune tâche Spark active

Note

Amazon EMR marque un cluster comme inactif et peut le résilier automatiquement même si vous avez un noyau Python3 actif. Cela est dû au fait que l'exécution d'un noyau Python3 ne soumet pas de tâche Spark sur le cluster. Pour utiliser l'arrêt automatique avec un noyau Python3, nous vous recommandons d'utiliser Amazon EMR version 6.4.0 ou ultérieure.
Note

Les versions 6.4.0 et ultérieures d'Amazon EMR prennent en charge un fichier sur le cluster pour détecter l'activité sur le nœud primaire : /emr/metricscollector/isbusy. Lorsque vous utilisez un cluster pour exécuter des scripts shell ou des applications autres que YARN, vous pouvez régulièrement le toucher ou le mettre à jour isbusy pour indiquer à Amazon EMR que le cluster n'est pas inactif.

Vous pouvez associer une politique de résiliation automatique lorsque vous créez un cluster ou lorsque vous ajoutez une politique à un cluster existant. Pour modifier ou désactiver la résiliation automatique, vous pouvez mettre à jour ou supprimer la politique.

Considérations

Tenez compte des fonctions et des limites suivantes avant d'utiliser une politique de résiliation automatique :

  • Dans ce qui suit Régions AWS, la résiliation automatique d'Amazon EMR est disponible avec Amazon EMR 6.14.0 et versions ultérieures :

    • Europe (Espagne) (eu-south-2)

  • Dans ce qui suit Régions AWS, la résiliation automatique d'Amazon EMR est disponible avec Amazon EMR 5.30.0, 6.1.0 et versions ultérieures :

    • USA Est (Virginie du Nord) (us-east-1)

    • USA Est (Ohio) (us-east-2)

    • USA Ouest (Oregon) (us-west-2)

    • USA Ouest (Californie du Nord) (us-west-1)

    • Afrique (Le Cap) (af-south-1)

    • Asie-Pacifique (Hong Kong) (ap-east-1)

    • Asie-Pacifique (Mumbai) (ap-south-1)

    • Asie-Pacifique (Hyderabad) (ap-south-2)

    • Asie-Pacifique (Séoul) (ap-northeast-2)

    • Asie-Pacifique (Osaka) (ap-northeast-3)

    • Asie-Pacifique (Singapour) (ap-southeast-1)

    • Asie-Pacifique (Sydney) (ap-southeast-2)

    • Asie-Pacifique (Jakarta) (ap-southeast-3)

    • Asie-Pacifique (Tokyo) (ap-northeast-1)

    • Canada (Centre) (ca-central-1)

    • Amérique du Sud (São Paulo) (sa-east-1)

    • Europe (Francfort) (eu-central-1)

    • Europe (Zurich) (eu-central-2)

    • Europe (Irlande) (eu-west-1)

    • Europe (Londres) (eu-west-2)

    • Europe (Milan) (eu-south-1)

    • Europe (Paris) (eu-west-3)

    • Europe (Stockholm) (eu-north-1)

    • Israël (Tel Aviv) (il-central-1)

    • Moyen-Orient (Émirats arabes unis) (me-central-1)

    • Chine (Beijing) cn-north-1

    • Chine (Ningxia) cn-northwest-1

    • AWS GovCloud (USA Est) (us-gov-east-1)

    • AWS GovCloud (US-Ouest) (us-gov-west-1)

  • Le délai d'inactivité est par défaut de 60 minutes (une heure) lorsque vous ne spécifiez pas de montant. Vous pouvez spécifier un délai d'inactivité minimal d'une minute et un délai d'inactivité maximal de 7 jours.

  • Avec les versions 6.4.0 et ultérieures d'Amazon EMR, la résiliation automatique est activée par défaut lorsque vous créez un nouveau cluster avec la console Amazon EMR.

  • Amazon EMR publie des Amazon CloudWatch métriques haute résolution lorsque vous activez la résiliation automatique d'un cluster. Vous pouvez utiliser ces indicateurs pour suivre l'activité et l'inactivité du cluster. Pour de plus amples informations, veuillez consulter Métriques de capacité de cluster.

  • La terminaison automatique n'est pas prise en charge lorsque vous utilisez des applications non basées sur YARN telles que Presto, Trino ou. HBase

  • Pour utiliser la résiliation automatique, le processus metrics-collector doit être en mesure de se connecter au point de terminaison de l'API public pour la résiliation automatique dans API Gateway. Si vous utilisez un nom DNS privé avec Amazon Virtual Private Cloud, la terminaison automatique ne fonctionnera pas correctement. Pour garantir le bon fonctionnement de la résiliation automatique, nous vous recommandons de prendre l'une des mesures suivantes :

  • (Amazon EMR 5.30.0 et versions ultérieures) Si vous supprimez la règle Autoriser tous les accès sortants par défaut sur 0.0.0.0/ pour le groupe de sécurité principal, vous devez ajouter une règle qui autorise la connectivité TCP sortante à votre groupe de sécurité pour l'accès au service sur le port 9443. Votre groupe de sécurité pour l'accès au service doit également autoriser le trafic TCP entrant sur le port 9443 en provenance du groupe de sécurité principal. Pour plus d'informations sur la configuration des groupes de sécurité, consultez Groupe de sécurité géré par Amazon EMR pour l'instance principale (sous-réseaux privés).

Autorisations d'utilisation de la résiliation automatique

Avant de pouvoir appliquer et gérer les politiques de résiliation automatique pour Amazon EMR, vous devez associer les autorisations répertoriées dans l'exemple de politique d'autorisation IAM suivant aux ressources IAM qui gèrent votre cluster EMR.

{
  "Version": "2012-10-17",
  "Statement": {
      "Sid": "AllowAutoTerminationPolicyActions",
      "Effect": "Allow",
      "Action": [
        "elasticmapreduce:PutAutoTerminationPolicy",
        "elasticmapreduce:GetAutoTerminationPolicy",
        "elasticmapreduce:RemoveAutoTerminationPolicy"
      ],
      "Resource": "<your-resources>"
    }
}

Attacher, mettre à jour ou supprimer une politique de résiliation automatique

Cette section contient des instructions pour vous aider à joindre, mettre à jour ou supprimer une politique de résiliation automatique d'un cluster Amazon EMR. Avant de travailler avec des politiques de résiliation automatique, assurez-vous de disposer des autorisations IAM nécessaires. Consultez Autorisations d'utilisation de la résiliation automatique.

Console
Pour associer une politique de résiliation automatique lorsque vous créez un cluster avec la console

  1. Connectez-vous au et ouvrez la AWS Management Console console Amazon EMR à l'adresse /emr. https://console.aws.amazon.com

  2. Sous EMR activé EC2 dans le volet de navigation de gauche, choisissez Clusters, puis Create cluster.

  3. Sous Résiliation du cluster, sélectionnez Résilier le cluster après une période d'inactivité.

  4. Spécifiez le nombre d'heures et de minutes d'inactivité qui peuvent s'écouler avant que le cluster ne se résilie automatiquement. Le temps d'inactivité par défaut est de 1 heure.

  5. Choisissez toutes les autres options qui s'appliquent à votre cluster.

  6. Pour lancer cluster, choisissez Créer un cluster.

Pour associer, mettre à jour ou supprimer une politique d'arrêt automatique sur un cluster en cours d'exécution à l'aide de la console

  1. Connectez-vous au et ouvrez la AWS Management Console console Amazon EMR à l'adresse /emr. https://console.aws.amazon.com

  2. Sous EMR activé EC2 dans le volet de navigation de gauche, choisissez Clusters, puis sélectionnez le cluster que vous souhaitez mettre à jour.

  3. Dans l'onglet Propriétés de la page des détails du cluster, recherchez Résiliation du cluster et sélectionnez Modifier.

  4. Sélectionnez ou désélectionnez Activer la résiliation automatique pour activer ou désactiver la fonctionnalité. Si vous activez la résiliation automatique, spécifiez le nombre d'heures et de minutes d'inactivité qui peuvent s'écouler avant que le cluster ne se résilie automatiquement. Sélectionnez ensuite Enregistrer les modifications pour confirmer.

AWS CLI

Avant de commencer

Avant de travailler avec des politiques de résiliation automatique, nous vous recommandons de passer à la dernière version de l' AWS CLI. Pour obtenir des instructions, consultez Installation, mise à jour et désinstallation d' AWS CLI.

Pour joindre ou mettre à jour une politique de résiliation automatique à l'aide de l' AWS CLI

  • Vous pouvez utiliser la commande aws emr put-auto-termination-policy pour associer ou mettre à jour une politique de résiliation automatique sur un cluster.

    L'exemple suivant indique 3 600 secondes pourIdleTimeout. Si vous ne le spécifiez pasIdleTimeout, la valeur par défaut est une heure. 

    aws emr put-auto-termination-policy \
--cluster-id <your-cluster-id> \
--auto-termination-policy IdleTimeout=3600
    Note

    Les caractères de continuation de ligne Linux (\) sont inclus pour des raisons de lisibilité. Ils peuvent être supprimés ou utilisés dans les commandes Linux. Pour Windows, supprimez-les ou remplacez-les par un caret (^).

    Vous pouvez également spécifier une valeur pour --auto-termination-policy lorsque vous utilisez la commande aws emr create-cluster. Pour plus d'informations sur l'utilisation des commandes Amazon EMR dans le AWS CLI, consultez la référence des AWS CLI commandes.

Pour supprimer une politique de résiliation automatique à l'aide du AWS CLI

  • Utilisez la commande aws emr remove-auto-termination-policy pour supprimer une politique de résiliation automatique d'un cluster. Pour plus d'informations sur l'utilisation des commandes Amazon EMR dans le AWS CLI, consultez la référence des AWS CLI commandes.

    aws emr remove-auto-termination-policy --cluster-id <your-cluster-id>