Configurar notificaciones de consistencia para CloudWatch y Amazon SQS - Amazon EMR

Configurar notificaciones de consistencia para CloudWatch y Amazon SQS

Puede habilitar las métricas de CloudWatch y los mensajes de Amazon SQS en EMRFS para solucionar problemas de consistencia final de Amazon S3.

CloudWatch

Cuando están habilitadas las métricas de CloudWatch, se envía una métrica denominada Incoherencia cada vez que una llamada a la API FileSystem devuelve un error debido a consistencia final de Amazon S3.

Para ver las métricas de CloudWatch para problemas de consistencia final de Amazon S3

Para ver la métrica Incoherencia en la consola de CloudWatch, seleccione las métricas de EMRFS y, a continuación, seleccione un par JobFlowId/Nombre de métrica. Por ejemplo, j-162XXXXXXM2CU ListStatus, j-162XXXXXXM2CU GetFileStatus etc.

  1. Abra la consola de CloudWatch en https://console.aws.amazon.com/cloudwatch/.

  2. En el Dashboard (Panel), en la sección Metrics (Métricas), elija EMRFS.

  3. En el panel Job Flow Metrics (Métricas de flujo de trabajo), seleccione uno o más pares JobFlowId/Metric Name (Nombre de métrica). Aparece una representación gráfica de las métricas en la ventana siguiente.

Amazon SQS

Cuando están habilitadas las notificaciones de Amazon SQS, se crea una cola de Amazon SQS con el nombre EMRFS-Inconsistency-<jobFlowId> cuando se inicializa EMRFS. Los mensajes de Amazon SQS se envían en la cola cuando falla una llamada a la API de FileSystem debido a consistencia final de Amazon S3. El mensaje contiene información como JobFlowId, API, una lista de rutas inconsistentes, un seguimiento de la pila, etc. Los mensajes se pueden leer a través de la consola de Amazon SQS o mediante el comando read-sqs de EMRFS.

Para administrar mensajes de Amazon SQS para problemas de consistencia final de Amazon S3

Los mensajes de Amazon SQS para problemas de consistencia final de Amazon S3 se pueden leer con la CLI de EMRFS. Para leer mensajes desde una cola de Amazon SQS de EMRFS, escriba el comando read-sqs y especifique una ubicación de salida en el sistema de archivos local del nodo maestro para el archivo de salida resultante.

También puede eliminar una cola de Amazon SQS de EMRFS utilizando el comando delete-sqs.

  1. Para leer los mensajes de una cola de Amazon SQS, escriba el siguiente comando. Sustituya queuename por el nombre de la cola de Amazon SQS que ha configurado y sustituya /path/filename por la ruta al archivo de salida:

    emrfs read-sqs --queue-name queuename --output-file /path/filename

    Por ejemplo, para leer y generar mensajes de Amazon SQS desde la cola predeterminada, escriba:

    emrfs read-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU --output-file /path/filename
    nota

    También puede utilizar los accesos directos -q y -o en lugar de --queue-name y --output-file respectivamente.

  2. Para eliminar una cola de Amazon SQS, escriba el comando siguiente:

    emrfs delete-sqs --queue-name queuename

    Por ejemplo, para eliminar la cola predeterminada, escriba:

    emrfs delete-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU
    nota

    También puede utilizar el acceso directo -q en lugar de --queue-name.