Configuration des notifications de cohérence pour CloudWatch et Amazon SQS - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Configuration des notifications de cohérence pour CloudWatch et Amazon SQS

Vous pouvez activer CloudWatch les métriques et les messages Amazon SQS dans EMRFS pour les problèmes de cohérence éventuels d'Amazon S3.

CloudWatch

Lorsque CloudWatch les métriques sont activées, une métrique nommée Incohérence est poussée chaque fois qu'un appel d'FileSystemAPI échoue en raison de la cohérence à terme d'Amazon S3.

Pour afficher CloudWatch les métriques concernant les problèmes de cohérence éventuels d'Amazon S3

Pour afficher la métrique d'incohérence dans la CloudWatch console, sélectionnez les métriques EMRFS, puis sélectionnez une paire JobFlowId/Metric Name. Par exemple : j-162XXXXXXM2CU ListStatus, j-162XXXXXXM2CU GetFileStatus, etc.

  1. Ouvrez la CloudWatch console à l'adresse https://console.aws.amazon.com/cloudwatch/.

  2. Dans le Tableau de bord, dans la section Metrics (Métriques), choisissez EMRFS.

  3. Dans le volet Job Flow Metrics, sélectionnez une ou plusieurs paires JobFlowId/Metric Name. Une représentation graphique des métriques s'affiche dans la fenêtre ci-dessous.

Amazon SQS

Lorsque les notifications Amazon SQS sont activées, une file d'attente Amazon SQS portant le nom EMRFS-Inconsistency-<jobFlowId> est créée lors de l'initialisation d'EMRFS. Les messages Amazon SQS sont placés dans la file d'attente lorsqu'un appel d'API FileSystem échoue en raison de la cohérence éventuelle d'Amazon S3. Le message contient des informations telles que l'API JobFlowId, une liste de chemins incohérents, une trace de pile, etc. Les messages peuvent être lus à l'aide de la console Amazon SQS ou de la commande read-sqs d'EMRFS.

Pour gérer les messages Amazon SQS en cas de problèmes de cohérence éventuels d'Amazon S3

Les messages Amazon SQS pour les problèmes de cohérence éventuelle d'Amazon S3 peuvent être lus à l'aide de l'interface de ligne de commande d'EMRFS. Pour lire les messages à partir d'une file d'attente Amazon SQS d'EMRFS, tapez la commande read-sqs et spécifiez un emplacement de sortie dans le système de fichiers local du nœud principal pour le fichier de sortie obtenu.

Vous pouvez également supprimer une file d'attente Amazon SQS d'EMRFS à l'aide de la commande delete-sqs.

  1. Pour lire les messages à partir d'une file d'attente Amazon SQS, tapez la commande suivante. Remplacez queuename par le nom de la file d'attente Amazon SQS que vous avez configuré et remplacez par le nom de la file d'attente Amazon SQS que vous avez configuré et remplacez /path/filename par le chemin d'accès du fichier de sortie :

    emrfs read-sqs --queue-name queuename --output-file /path/filename

    Par exemple, pour lire et générer des messages Amazon SQS à partir de la file d'attente par défaut, tapez :

    emrfs read-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU --output-file /path/filename
    Note

    Vous pouvez également utiliser les raccourcis -q et -o à la place de --queue-name et --output-file respectivement.

  2. Pour supprimer une file d'attente Amazon SQS, tapez la commande suivante :

    emrfs delete-sqs --queue-name queuename

    Par exemple, pour supprimer la file d'attente par défaut, tapez :

    emrfs delete-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU
    Note

    Vous pouvez également utiliser le raccourci -q à la place de --queue-name.