Configurar notificaciones de consistencia para Amazon CloudWatch SQS y Amazon SQS - Amazon EMR

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Configurar notificaciones de consistencia para Amazon CloudWatch SQS y Amazon SQS

Puede habilitar CloudWatch las métricas y los mensajes de Amazon SQS en EMRFS para solucionar problemas de consistencia final de Amazon S3.

CloudWatch

Cuando están habilitadas CloudWatch las métricas, se envía una métrica denominada Incoherencia cada vez que una llamada a la FileSystem API devuelve un error debido a consistencia final de Amazon S3.

Para ver CloudWatch las métricas de problemas de consistencia final de Amazon S3

Para ver la métrica de inconsistencia en la CloudWatch consola, seleccione las métricas de EMRFS y, a continuación, seleccione un par JobFlowId/nombre de métrica. Por ejemplo, j-162XXXXXXM2CU ListStatus, j-162XXXXXXM2CU GetFileStatus etc.

  1. Abra la consola en CloudWatch . https://console.aws.amazon.com/cloudwatch/

  2. En el Dashboard (Panel), en la sección Metrics (Métricas), elija EMRFS.

  3. En el panel Métricas del flujo de trabajos, seleccione uno o más pares de JobFlowId/Nombre de métrica. Aparece una representación gráfica de las métricas en la ventana siguiente.

Amazon SQS

Cuando están habilitadas las notificaciones de Amazon SQS, se crea una cola de Amazon SQS con el nombre EMRFS-Inconsistency-<jobFlowId> cuando se inicializa EMRFS. Los mensajes de Amazon SQS se envían en la cola cuando falla una llamada a la API de FileSystem debido a consistencia final de Amazon S3. El mensaje contiene información como la API JobFlowId, una lista de rutas incoherentes, un rastreo de pila, etc. Los mensajes se pueden leer a través de la consola de Amazon SQS o mediante el comando read-sqs de EMRFS.

Para administrar mensajes de Amazon SQS para problemas de consistencia final de Amazon S3

Los mensajes de Amazon SQS para problemas de consistencia final de Amazon S3 se pueden leer con la CLI de EMRFS. Para leer mensajes desde una cola de Amazon SQS de EMRFS, escriba el comando read-sqs y especifique una ubicación de salida en el sistema de archivos local del nodo maestro para el archivo de salida resultante.

También puede eliminar una cola de Amazon SQS de EMRFS utilizando el comando delete-sqs.

  1. Para leer los mensajes de una cola de Amazon SQS, escriba el siguiente comando. Sustituya queuename por el nombre de la cola de Amazon SQS que ha configurado y sustituya por /path/filename la ruta al archivo de salida:

    emrfs read-sqs --queue-name queuename --output-file /path/filename

    Por ejemplo, para leer y generar mensajes de Amazon SQS desde la cola predeterminada, escriba:

    emrfs read-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU --output-file /path/filename
    nota

    También puede utilizar los accesos directos -q y -o en lugar de --queue-name y --output-file respectivamente.

  2. Para eliminar una cola de Amazon SQS, escriba el comando siguiente:

    emrfs delete-sqs --queue-name queuename

    Por ejemplo, para eliminar la cola predeterminada, escriba:

    emrfs delete-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU
    nota

    También puede utilizar el acceso directo -q en lugar de --queue-name.