Visualizar logs para trabalhos do AWS Glue - AWS Glue

Visualizar logs para trabalhos do AWS Glue

É possível visualizar logs em tempo real usando o console do AWS Glue ou o console do Amazon CloudWatch.

Para visualizar logs em tempo real usando o painel do console do AWS Glue

  1. Faça login no AWS Management Console e abra o console do AWS Glue em https://console.aws.amazon.com/glue/.

  2. No painel de navegação, escolha Tarefas.

  3. Adicione ou inicie uma tarefa existente. Selecione Action (Ação), Run job (Executar tarefa).

    Ao começar a executar uma tarefa, você navega até uma página que contém informações sobre a tarefa em execução:

    • A guia Logs mostra os logs do aplicativo agregados mais antigos.

    • A guia Logs mostra uma barra de progresso em tempo real quando o trabalho está sendo executado com o glueContext inicializado.

    • A guia Logs também contém os Logs de driver, que capturam logs de driver do Apache Spark em tempo real, além de logs de aplicativo do script registrado usando o registrador de aplicação do AWS Glue quando a tarefa está em execução.

  4. Para tarefas mais antigas, também é possível visualizar logs em tempo real na exibição Job History (Histórico de tarefas) selecionando Logs. Essa ação leva você até o console do CloudWatch, que mostra todas as transmissões de log da barra de progresso, do executor e do driver do Spark para essa execução de trabalho.

Para visualizar logs em tempo real usando o painel do console do CloudWatch

  1. Abra o console do CloudWatch, em https://console.aws.amazon.com/cloudwatch/.

  2. No painel de navegação, selecione Log.

  3. Selecione o grupo de logs /aws-glue/jobs/error/.

  4. Na caixa Filter (Filtro), cole o ID da execução da tarefa.

    É possível visualizar os logs de driver, logs de executor e a barra de progresso (se estiver usando o Standard filter (Filtro padrão)).