View a markdown version of this page

Etapa aprimorada de depuração com o Amazon EMR - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Etapa aprimorada de depuração com o Amazon EMR

Se houver falha em uma etapa do Amazon EMR e você enviou seu trabalho usando a operação de etapa de API com uma AMI de versão 5.x ou posterior, o Amazon EMR poderá identificar e retornar a causa raiz da falha na etapa em alguns casos, juntamente com o nome do arquivo de log relevante e uma parte do rastreamento da pilha de aplicações pela API. Por exemplo, as seguintes falhas podem ser identificadas:

  • Um erro do Hadoop comum, como o diretório de saída já existe, o diretório de entrada não existe ou um aplicativo ficou sem memória.

  • Erros de Java, como um aplicativo que foi compilado com uma versão incompatível do Java ou executado com uma classe principal não encontrada.

  • Um problema ao acessar objetos armazenados no Amazon S3.

Essas informações estão disponíveis usando as operações DescribeStepe ListStepsda API. O FailureDetailscampo do StepSummaryretornado por essas operações. Para acessar as FailureDetails informações, use a AWS CLI, o console ou AWS o SDK.

Console

O novo console do Amazon EMR não oferece depuração por etapas. No entanto, é possível visualizar os detalhes do encerramento do cluster realizando as etapas a seguir.

Para exibir os detalhes da falha usando o console

  1. Faça login no Console de gerenciamento da AWS e abra o console do Amazon EMR em. https://console.aws.amazon.com/emr

  2. Em EMR no EC2 no painel de navegação esquerdo, escolha Clusters e, em seguida, selecione o cluster que você deseja visualizar.

  3. Observe o valor do Status na seção Resumo da página de detalhes do cluster. Se o status for Terminado com erros, passe o mouse sobre o texto para visualizar os detalhes da falha do cluster.

CLI
Para ver os detalhes da falha com o AWS CLI

  • Para obter detalhes da falha de uma etapa com o AWS CLI, use o describe-step comando.

    aws emr describe-step --cluster-id j-1K48XXXXXHCB --step-id s-3QM0XXXXXM1W

    A saída será semelhante à seguinte:

    {
  "Step": {
    "Status": {
      "FailureDetails": {
        "LogFile": "s3://amzn-s3-demo-bucket/logs/j-1K48XXXXXHCB/steps/s-3QM0XXXXXM1W/stderr.gz",
        "Message": "org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory s3://amzn-s3-demo-bucket/logs/beta already exists",
        "Reason": "Output directory already exists."
      },
      "Timeline": {
        "EndDateTime": 1469034209.143,
        "CreationDateTime": 1469033847.105,
        "StartDateTime": 1469034202.881
      },
      "State": "FAILED",
      "StateChangeReason": {}
    },
    "Config": {
      "Args": [
        "wordcount",
        "s3://amzn-s3-demo-bucket/input/input.txt",
        "s3://amzn-s3-demo-bucket/logs/beta"
      ],
      "Jar": "s3://amzn-s3-demo-bucket/jars/hadoop-mapreduce-examples-2.7.2-amzn-1.jar",
      "Properties": {}
    },
    "Id": "s-3QM0XXXXXM1W",
    "ActionOnFailure": "CONTINUE",
    "Name": "ExampleJob"
  }
}