Configurar notificações de consistência para CloudWatch o Amazon SQS - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Configurar notificações de consistência para CloudWatch o Amazon SQS

Você pode habilitar CloudWatch métricas e mensagens do Amazon SQS no EMRFS para problemas de consistência eventual do Amazon S3.

CloudWatch

Quando CloudWatch as métricas estão habilitadas, uma métrica denominada Inconsistency é enviada sempre que uma chamada de FileSystem API falha devido à consistência eventual do Amazon S3.

Visualizar as CloudWatch métricas de problemas de consistência eventual do Amazon S3

Para visualizar a métrica de inconsistência no CloudWatch console, selecione as métricas do EMRFS e, em seguida, selecione um par JobFlowId/Nome da métrica. Por exemplo: j-162XXXXXXM2CU ListStatus, j-162XXXXXXM2CU GetFileStatus e assim por diante.

  1. Abra o CloudWatch console em https://console.aws.amazon.com/cloudwatch/.

  2. Em Dashboard (Painel), na seção Metrics (Métricas), escolha EMRFS.

  3. No painel Job Flow Metrics, selecione um ou mais pares JobFlowId/Metric Name. Uma representação gráfica das métricas aparece na janela abaixo.

Amazon SQS

Quando as notificações do Amazon SQS estiverem habilitadas, será criada uma fila do Amazon SQS chamada EMRFS-Inconsistency-<jobFlowId> quando o EMRFS for inicializado. As mensagens do Amazon SQS são enviadas à fila quando uma chamada de API FileSystem falha devido à consistência eventual do Amazon S3. A mensagem contém informações como API JobFlowId, uma lista de caminhos inconsistentes, um rastreamento de pilha e assim por diante. As mensagens podem ser lidas usando o console do Amazon SQS ou o comando read-sqs do EMRFS.

Gerenciar mensagens do Amazon SQS para possíveis problemas de consistência do Amazon S3

As mensagens do Amazon SQS para problemas de consistência eventual do Amazon S3 podem ser lidas usando a CLI do EMRFS. Para ler mensagens de uma fila do Amazon SQS do EMRFS, digite o comando read-sqs e especifique um local de saída no sistema de arquivos local do nó principal para o arquivo de saída resultante.

Você também pode excluir uma fila do Amazon SQS do EMRFS usando o comando delete-sqs.

  1. Para ler mensagens de uma fila do Amazon SQS, digite o comando a seguir. queuenameSubstitua pelo nome da fila do Amazon SQS que você configurou e /path/filename substitua pelo caminho do arquivo de saída:

    emrfs read-sqs --queue-name queuename --output-file /path/filename

    Por exemplo, para ler e gerar a saída de mensagens do Amazon SQS na fila padrão, digite:

    emrfs read-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU --output-file /path/filename
    nota

    Você também pode usar os atalhos -q e -o em vez de --queue-name e --output-file, respectivamente.

  2. Para excluir uma fila do Amazon SQS digite o seguinte comando:

    emrfs delete-sqs --queue-name queuename

    Por exemplo, para excluir a fila padrão, digite:

    emrfs delete-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU
    nota

    Você também pode usar o atalho -q no lugar de --queue-name.