Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utiliser la protection contre les interruptions de service pour protéger vos clusters Amazon EMR contre tout arrêt accidentel

La protection contre les interruptions protège vos clusters contre les interruptions accidentelles, ce qui peut être particulièrement utile pour les clusters de longue durée traitant des charges de travail critiques. Lorsque la protection contre la résiliation est activée sur un cluster de longue durée, vous pouvez toujours résilier le cluster, mais vous devez explicitement supprimer la protection contre la résiliation du cluster. Cela permet d'assurer que les instances EC2 ne sont pas résiliées par accident ou par erreur. Vous pouvez activer la protection de la résiliation lorsque vous créez un cluster et vous pouvez modifier le paramètre sur un cluster en cours d'exécution.

Lorsque la protection de la résiliation est activée, l'action TerminateJobFlows dans l'API Amazon EMR ne fonctionne pas. Les utilisateurs ne peuvent pas résilier le cluster à l'aide de cette API ou de la commande terminate-clusters dans l' AWS CLI. L'API retourne une erreur et l'interface de ligne de commande se ferme avec un code de retour non nul. Lorsque vous utilisez la console Amazon EMR pour résilier un cluster, une étape supplémentaire vous est proposée pour désactiver la protection contre la résiliation.

La protection de la résiliation n'affecte pas votre capacité à dimensionner des ressources de cluster en utilisant l'une des actions suivantes :

Protection contre la résiliation et Amazon EC2

Le paramètre de protection contre les terminaisons dans un cluster Amazon EMR correspond à l'DisableApiTerminationattribut de toutes les instances Amazon EC2 du cluster. Par exemple, si vous activez la protection contre les interruptions de service dans un cluster EMR, Amazon EMR prend automatiquement la valeur true DisableApiTermination pour toutes les instances EC2 du cluster EMR. Il en va de même si vous désactivez la protection contre la résiliation. Amazon EMR définit automatiquement la valeur False DisableApiTermination pour toutes les instances EC2 du cluster EMR. Si vous résiliez ou réduisez la taille d'un cluster depuis Amazon EMR et que les paramètres Amazon EC2 sont en conflit pour une instance EC2, Amazon EMR donne la priorité au paramètre Amazon EMR par rapport aux DisableApiTermination paramètres DisableApiStop et dans Amazon EC2 et continue de mettre fin à l'instance EC2.

Par exemple, vous pouvez utiliser la console Amazon EC2 pour activer la protection de terminaison sur une instance Amazon EC2 dans un cluster EMR avec la protection de terminaison désactivée. Si vous arrêtez ou réduisez le cluster à l'aide de la console Amazon EMR, de l' AWS CLI API Amazon EMR ou de l'API Amazon EMR, Amazon EMR remplace le DisableApiTermination paramètre, le définit sur false et met fin à l'instance ainsi qu'aux autres instances.

Vous pouvez également utiliser la console Amazon EC2 pour activer la protection d'arrêt sur une instance Amazon EC2 dans un cluster EMR avec la protection de terminaison désactivée. Si vous mettez fin au cluster ou si vous le réduisez, Amazon EMR prend la valeur false dans Amazon EC2 et met fin DisableApiStop à l'instance ainsi qu'aux autres instances.

Amazon EMR remplace ce DisableApiStop paramètre uniquement lorsque vous mettez fin à un cluster ou que vous le réduisez. Lorsque vous activez ou désactivez la protection de terminaison dans un cluster EMR, Amazon EMR ne modifie le disableApiStop paramètre d'aucune des instances EC2 du cluster EMR correspondant.

Protection contre la résiliation et nœuds YARN non sains

Amazon EMR vérifie périodiquement l'état Apache Hadoop YARN des nœuds principaux s'exécutant sur des instances Amazon EC2 de noyau et de tâche dans un cluster. L'état de santé est communiqué par le service NodeManager de contrôle de santé. Si un nœud le signaleUNHEALTHY, le contrôleur d'instance Amazon EMR ajoute le nœud à une liste de refus et ne lui alloue pas de conteneurs YARN tant qu'il n'est pas redevenu sain. En fonction de l'état de la protection contre les interruptions, du remplacement des nœuds défectueux et de la version finale d'Amazon EMR, Amazon EMR remplacera l'instance défectueuse ou arrêtera d'allouer des contrôleurs à l'instance.

Protection contre la résiliation et résiliation après exécution des étapes

Lorsque vous activez la résiliation après l'exécution d'une étape et que vous activez également la protection contre la résiliation, Amazon EMR ignore la protection de résiliation.

Lorsque vous soumettez des étapes à un cluster, vous pouvez définir la propriété ActionOnFailure pour déterminer ce qui se produit si l'étape ne peuvent pas terminer son exécution en raison d'une erreur. Les valeurs possibles pour ce paramètre sont TERMINATE_CLUSTER (TERMINATE_JOB_FLOW avec les versions antérieures), CANCEL_AND_WAIT, et CONTINUE. Pour de plus amples informations, veuillez consulter Soumettre un travail à un cluster Amazon EMR.

Si une étape configurée avec ActionOnFailure set to échoueCANCEL_AND_WAIT, si la terminaison après l'exécution de l'étape est activée, le cluster se termine sans exécuter les étapes suivantes.

Si une étape qui est configurée avec la ActionOnFailure valeur TERMINATE_CLUSTER échoue, utilisez la table de paramètres ci-dessous pour déterminer le résultat.

Protection contre la résiliation et instances Spot

La protection de la résiliation Amazon EMR n'empêche pas la résiliation d'une instance Spot Amazon EC2 lorsque le prix Spot dépasse le prix Spot maximum.

Configuration de la protection contre la résiliation lorsque vous lancez un cluster

Vous pouvez activer ou désactiver la protection contre la résiliation lorsque vous lancez un cluster à l'aide de la console AWS CLI, de l'API ou de l'API.

Pour les clusters à nœud unique, les paramètres de protection de terminaison par défaut sont les suivants :

Pour les clusters à haute disponibilité, les paramètres de protection de terminaison par défaut sont les suivants :

Console

Pour activer ou désactiver la protection contre la résiliation lorsque vous créez un cluster avec la console

1. Connectez-vous au et ouvrez Console de gestion AWS la console Amazon EMR à https://console.aws.amazon.com/emr l'adresse.

2. Sous EMR sur EC2 dans le volet de navigation de gauche, choisissez Clusters, puis Créer un cluster.

3. Pour la version d'EMR, choisissez emr-6.6.0 ou une version ultérieure.

4. Sous Arrêt du cluster et remplacement des nœuds, assurez-vous que l'option Utiliser la protection contre la résiliation est présélectionnée, ou désactivez la sélection pour la désactiver.

5. Choisissez toutes les autres options qui s'appliquent à votre cluster.

6. Pour lancer cluster, choisissez Créer un cluster.

AWS CLI

Pour activer ou désactiver la protection contre les interruptions lorsque vous créez un cluster à l'aide du AWS CLI

• Avec le AWS CLI, vous pouvez lancer un cluster avec la protection de terminaison activée à l'aide de la create-cluster commande contenant le --termination-protected paramètre. La protection de la résiliation est désactivée par défaut.

  L'exemple suivant crée un cluster avec la protection de la résiliation activée :

  Note

  Les caractères de continuation de ligne Linux (\) sont inclus pour des raisons de lisibilité. Ils peuvent être supprimés ou utilisés dans les commandes Linux. Pour Windows, supprimez-les ou remplacez-les par un caret (^).

  aws emr create-cluster --name "TerminationProtectedCluster" --release-label emr-7.13.0 \
  --applications Name=Hadoop Name=Hive Name=Pig \
  --use-default-roles --ec2-attributes KeyName=myKey --instance-type m5.xlarge \
  --instance-count 3 --termination-protected

  Pour plus d'informations sur l'utilisation des commandes Amazon EMR dans le AWS CLI, consultezhttps://docs.aws.amazon.com/cli/latest/reference/emr.

Configuration de la protection contre la résiliation pour les clusters en cours d'exécution

Vous pouvez configurer la protection contre l'arrêt pour un cluster en cours d'exécution à l'aide de la console ou de l' AWS CLI.

Console

Pour activer ou désactiver la protection contre les interruptions pour un cluster en cours d'exécution à l'aide de la console

1. Connectez-vous au et ouvrez Console de gestion AWS la console Amazon EMR à https://console.aws.amazon.com/emr l'adresse.

2. Sous EMR sur EC2, dans le volet de navigation de gauche, choisissez Clusters, puis sélectionnez le cluster que vous souhaitez mettre à jour.

3. Dans l'onglet Propriétés de la page des détails du cluster, recherchez Résiliation du cluster et sélectionnez Modifier.

4. Cochez ou décochez la case Utiliser la protection contre la résiliation pour activer ou désactiver la fonctionnalité. Sélectionnez ensuite Enregistrer les modifications pour confirmer.

AWS CLI

Pour activer ou désactiver la protection contre les terminaisons pour un cluster en cours d'exécution à l'aide du AWS CLI

• Pour activer la protection de la résiliation sur un cluster en cours d'exécution à l'aide de l' AWS CLI, utilisez la commande modify-cluster-attributes avec le paramètre --termination-protected. Pour la désactiver, utilisez le paramètre --no-termination-protected.

  L'exemple suivant active la protection contre les interruptions sur le cluster avec ID j-3KVTXXXXXX7UG :

  aws emr modify-cluster-attributes --cluster-id j-3KVTXXXXXX7UG --termination-protected

  L'exemple suivant désactive la protection de la résiliation sur le même cluster :

  aws emr modify-cluster-attributes --cluster-id j-3KVTXXXXXX7UG --no-termination-protected