Configurar notificações de consistência para o CloudWatch e o Amazon SQS - Amazon EMR

Configurar notificações de consistência para o CloudWatch e o Amazon SQS

Você pode habilitar métricas do CloudWatch e mensagens do Amazon SQS no EMRFS para problemas de consistência eventual do Amazon S3.

CloudWatch

Quando as métricas do CloudWatch estão habilitadas, uma métrica denominada Inconsistency é enviada sempre que uma chamada de API FileSystem falha devido à consistência eventual do Amazon S3.

Visualizar as métricas do CloudWatch para problemas de consistência eventual do Amazon S3

Para visualizar a métrica Inconsistency no console do CloudWatch, selecione as métricas do EMRFS e escolha um par JobFlowId/Metric Name. Por exemplo: j-162XXXXXXM2CU ListStatus, j-162XXXXXXM2CU GetFileStatus e assim por diante.

  1. Abra o console do CloudWatch, em https://console.aws.amazon.com/cloudwatch/.

  2. Em Dashboard (Painel), na seção Metrics (Métricas), escolha EMRFS.

  3. No painel Job Flow Metrics (Métricas de fluxo de trabalho), selecione um ou mais pares de JobFlowId/Metric Name (Nome da métrica). Uma representação gráfica das métricas aparece na janela abaixo.

Amazon SQS

Quando as notificações do Amazon SQS estiverem habilitadas, será criada uma fila do Amazon SQS chamada EMRFS-Inconsistency-<jobFlowId> quando o EMRFS for inicializado. As mensagens do Amazon SQS são enviadas à fila quando uma chamada de API FileSystem falha devido à consistência eventual do Amazon S3. A mensagem contém informações como JobFlowId, API, uma lista de caminhos inconsistentes, um rastreamento de pilha e assim por diante. As mensagens podem ser lidas usando o console do Amazon SQS ou o comando read-sqs do EMRFS.

Gerenciar mensagens do Amazon SQS para possíveis problemas de consistência do Amazon S3

As mensagens do Amazon SQS para problemas de consistência eventual do Amazon S3 podem ser lidas usando a CLI do EMRFS. Para ler mensagens de uma fila do Amazon SQS do EMRFS, digite o comando read-sqs e especifique um local de saída no sistema de arquivos local do nó principal para o arquivo de saída resultante.

Você também pode excluir uma fila do Amazon SQS do EMRFS usando o comando delete-sqs.

  1. Para ler mensagens de uma fila do Amazon SQS, digite o comando a seguir. Substitua queuename pelo nome da fila do Amazon SQS que você configurou e substitua /path/filename pelo caminho do arquivo de saída:

    emrfs read-sqs --queue-name queuename --output-file /path/filename

    Por exemplo, para ler e gerar a saída de mensagens do Amazon SQS na fila padrão, digite:

    emrfs read-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU --output-file /path/filename
    nota

    Você também pode usar os atalhos -q e -o em vez de --queue-name e --output-file, respectivamente.

  2. Para excluir uma fila do Amazon SQS digite o seguinte comando:

    emrfs delete-sqs --queue-name queuename

    Por exemplo, para excluir a fila padrão, digite:

    emrfs delete-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU
    nota

    Você também pode usar o atalho -q no lugar de --queue-name.