View a markdown version of this page

Configura le notifiche di CloudWatch coerenza per Amazon SQS - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Configura le notifiche di CloudWatch coerenza per Amazon SQS

Puoi abilitare le CloudWatch metriche e i messaggi Amazon SQS in EMRFS per eventuali problemi di coerenza di Amazon S3.

CloudWatch

Quando CloudWatch le metriche sono abilitate, viene inviata una metrica denominata Inconsistency ogni volta che una chiamata API fallisce a causa dell'eventuale coerenza di Amazon S3. FileSystem

Per visualizzare le CloudWatch metriche relative a eventuali problemi di coerenza di Amazon S3

Per visualizzare la metrica di incoerenza nella CloudWatch console, seleziona le metriche EMRFS e quindi seleziona una coppia/Nome metrico. JobFlowId Ad esempio: j-162XXXXXXM2CU ListStatus, j-162XXXXXXM2CU GetFileStatus e così via.

  1. https://console.aws.amazon.com/cloudwatch/Apri la console all'indirizzo. CloudWatch

  2. In Dashboard (Pannello di controllo), nella sezione Metrics (Parametri), scegliere EMRFS.

  3. Nel riquadro Job Flow Metrics, seleziona una o più coppie JobFlowId/Metric Name. Una rappresentazione grafica dei parametri è visualizzata nella finestra illustrata di seguito.

Amazon SQS

Quando le notifiche di Amazon SQS sono attivate, una coda Amazon SQS denominata EMRFS-Inconsistency-<jobFlowId> viene creata all'inizializzazione di EMRFS. I messaggi di Amazon SQS sono trasmessi alla coda quando una chiamata API FileSystem non riesce a causa della consistenza finale di Amazon S3. Il messaggio contiene informazioni quali API JobFlowId, un elenco di percorsi non coerenti, uno stack trace e così via. I messaggi possono essere letti utilizzando la console di Amazon SQS o il comando read-sqs di EMRFS.

Gestione dei messaggi di Amazon SQS per i problemi di consistenza finale di Amazon S3

È possibile leggere i messaggi Amazon SQS per i problemi di consistenza finale di Amazon S3 mediante la CLI di EMRFS. Per leggere i messaggi da una coda Amazon SQS di EMRFS, digita il comando read-sqs e specifica un percorso di output nel file system locale del nodo master per il file di output risultante.

È anche possibile eliminare una coda Amazon SQS di EMRFS utilizzando il comando delete-sqs.

  1. Per leggere i messaggi da una coda Amazon SQS, digita il comando seguente. Sostituisci queuename con il nome della coda Amazon SQS che hai configurato e sostituisci /path/filename con il percorso del file di output:

    emrfs read-sqs --queue-name queuename --output-file /path/filename

    Ad esempio, per leggere i messaggi di output di Amazon SQS dalla coda predefinita, digita:

    emrfs read-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU --output-file /path/filename
    Nota

    È inoltre possibile utilizzare le scelte rapide -q e -o anziché --queue-name e --output-file.

  2. Per eliminare una coda Amazon SQS, digita il comando seguente:

    emrfs delete-sqs --queue-name queuename

    Ad esempio, per eliminare la coda predefinita, digitare:

    emrfs delete-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU
    Nota

    È anche possibile utilizzare la scelta rapida -q anziché --queue-name.