Konsistenzbenachrichtigungen für CloudWatch und Amazon SQS konfigurieren - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Konsistenzbenachrichtigungen für CloudWatch und Amazon SQS konfigurieren

Sie können CloudWatch Metriken und Amazon SQS SQS-Nachrichten in EMRFS für eventuelle Konsistenzprobleme in Amazon S3 aktivieren.

CloudWatch

Wenn CloudWatch Metriken aktiviert sind, wird jedes Mal, wenn ein FileSystem API-Aufruf aufgrund der eventuellen Konsistenz von Amazon S3 fehlschlägt, eine Metrik namens Inconsistency übertragen.

So zeigen Sie CloudWatch Metriken für eventuelle Konsistenzprobleme in Amazon S3 an

Um die Inkonsistenz-Metrik in der CloudWatch Konsole anzuzeigen, wählen Sie die EMRFS-Metriken und dann ein Paar mit dem Namen JobFlowId/Metric aus. Beispiel: j-162XXXXXXM2CU ListStatus, j-162XXXXXXM2CU GetFileStatus usw.

  1. Öffnen Sie die Konsole unter CloudWatch . https://console.aws.amazon.com/cloudwatch/

  2. Wählen Sie im Dashboard (Dashboard) im Abschnitt Metrics (Metriken) die Option EMRFS (EMRFS) aus.

  3. Wählen Sie im Bereich Job Flow Metrics ein oder mehrere JobFlowId/Metric Name-Paare aus. Im Fenster darunter wird eine grafische Darstellung der Metriken angezeigt.

Amazon SQS

Wenn Amazon-SQS-Benachrichtigungen aktiviert sind, wird bei Initialisierung von EMRFS eine Amazon SQS-Warteschlange namens EMRFS-Inconsistency-<jobFlowId> erstellt. Amazon-SQS-Nachrichten werden per Push-Verfahren in die Warteschlange gestellt, wenn ein FileSystem-API-Aufruf aufgrund eines eventuellen Konsistenzproblems von Amazon S3 fehlschlägt. Die Nachricht enthält Informationen wie API JobFlowId, eine Liste inkonsistenter Pfade, einen Stack-Trace usw. Nachrichten können mit der Amazon-SQS-Konsole oder dem EMRFS-Befehl read-sqs gelesen werden.

Verwalten von Amazon-SQS-Nachrichten bei eventuellen Konsistenzproblemen von Amazon S3

Amazon-SQS-Nachrichten bei eventuellen Konsistenzproblemen in Amazon S3 können über die EMRFS-CLI gelesen werden. Um Nachrichten aus einer EMRFS-Amazon-SQS-Warteschlange zu lesen, geben Sie den Befehl read-sqs ein und geben Sie für die resultierende Ausgabedatei einen Speicherort im lokalen Dateisystem des Hauptknotens an.

Sie können eine EMRFS-Amazon-SQS-Warteschlange mit dem Befehl delete-sqs löschen.

  1. Zum Lesen von Nachrichten aus einer Amazon-SQS-Warteschlange geben Sie den folgenden Befehl ein. queuenameErsetzen Sie durch den Namen der Amazon SQS SQS-Warteschlange, die Sie konfiguriert haben, und /path/filename ersetzen Sie sie durch den Pfad zur Ausgabedatei:

    emrfs read-sqs --queue-name queuename --output-file /path/filename

    Um z. B. Amazon-SQS-Nachrichten aus der Standardwarteschlange zu lesen und auszugeben, geben Sie Folgendes ein:

    emrfs read-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU --output-file /path/filename
    Anmerkung

    Sie können auch die Verknüpfungen -q und -o anstelle von --queue-name und --output-file verwenden.

  2. Zum Löschen einer Amazon-SQS-Warteschlange geben Sie den folgenden Befehl ein:

    emrfs delete-sqs --queue-name queuename

    Um z. B. die Standardwarteschlange zu löschen, geben Sie Folgendes ein:

    emrfs delete-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU
    Anmerkung

    Sie können auch das Kürzel -q anstelle von --queue-name verwenden.