AWS Data PipelineO não está mais disponível para novos clientes. Os clientes atuais do AWS Data Pipeline podem continuar usando o serviço normalmente. Saiba mais

Registro em log e monitoramento no AWS Data Pipeline

O AWS Data Pipeline é integrado a AWS CloudTrail, serviço que fornece um registro das ações realizadas por um usuário, perfil ou AWS serviço em AWS Data Pipeline. O CloudTrail captura todas as chamadas API para AWS Data Pipeline como eventos. As chamadas capturadas incluem as aquelas do AWS Data Pipeline console e chamadas de código para operações API da AWS Data Pipeline. Caso crie uma trilha, voce pode habilitar a entrega contínua de eventos CloudTrail para um bucket Amazon S3, inclusive eventos para AWS Data Pipeline. Mesmo que não configure uma trilha, você ainda pode visualizar os eventos mais recentes no console CloudTrail em Histórico de Eventos. Ao fazer uso das informações coletadas pelo CloudTrail, é possível determinar a solicitação feita a AWS Data Pipeline, o endereço IP no qual a solicitação foi feita, quem fez a solicitação e quando foi feita, além de detalhes adicionais.

Para saber mais sobre o CloudTrail, consulte o AWS CloudTrail Guia de Usuário.

AWS Data Pipeline Informações em CloudTrail

O CloudTrail é habilitado em sua AWS conta ao criá-la. Quando ocorre uma atividade no AWS Data Pipeline, essa atividade é registrada em um evento do CloudTrail com outros eventos de produtos da AWS em Histórico de eventos. Você pode visualizar, pesquisar e baixar eventos recentes em sua AWS conta. Para mais informações, consulte Visualizando Eventos com Histórico de Eventos CloudTrail.

Para um registro contínuo de eventos em sua AWS conta, inclusive eventos para AWS Data Pipeline, crie uma trilha. Uma trilha permite que o CloudTrail entregue arquivos de log a um bucket Amazon S3. Por padrão, quando você cria uma trilha no console, ela é aplicada a todas as regiões da AWS. A trilha registra eventos de todas as regiões na partição da AWS e entrega os arquivos de log no bucket do Amazon S3 que você especificou Além disso, é possível configurar outros AWS serviços para melhor analisar e agir de acordo com dados coletados do evento nos logs CloudTrail. Para obter mais informações, consulte:

Todas as ações doAWS Data Pipeline estão registradas em log pelo CloudTrail e documentadas no capítulo Ações de referência da API do AWS Data Pipeline. Por exemplo, as chamadas para a ação CreatePipeline geram entradas nos arquivos de log do CloudTrail.

Cada entrada de log ou evento contém informações sobre quem gerou a solicitação. As informações de identidade ajudam a determinar o seguinte:

Para mais informações, consulte Elemento userIdentity CloudTrail.

Entendendo AWS Data Pipeline Entradas de Arquivo de Log

Uma trilha é uma configuração que permite a entrega de eventos como arquivos de log a um bucket Amazon S3 especificado. Os arquivos de log do CloudTrail contêm uma ou mais entradas de log. Um evento representa uma única solicitação de qualquer fonte, e inclui informações sobre a ação solicitada, data e hora da ação, parâmetros da solicitação e assim por diante. Os arquivos de log do CloudTrail não são um rastreamento de pilha ordenada de chamadas de API pública, portanto, não são exibidos em uma ordem específica.

O seguinte exemplo a seguir mostra uma entrada de log do CloudTrail que demonstra a operação CreatePipeline:

      {
  "Records": [
    {
      "eventVersion": "1.02",
      "userIdentity": {
        "type": "Root",
        "principalId": "123456789012",
        "arn": "arn:aws:iam::aws-account-id:role/role-name",
        "accountId": "role-account-id",
        "accessKeyId": "role-access-key"
      },
      "eventTime": "2014-11-13T19:15:15Z",
      "eventSource": "datapipeline.amazonaws.com",
      "eventName": "CreatePipeline",
      "awsRegion": "us-east-1",
      "sourceIPAddress": "72.21.196.64",
      "userAgent": "aws-cli/1.5.2 Python/2.7.5 Darwin/13.4.0",
      "requestParameters": {
        "name": "testpipeline",
        "uniqueId": "sounique"
      },
      "responseElements": {
        "pipelineId": "df-06372391ZG65EXAMPLE"
      },
      "requestID": "65cbf1e8-6b69-11e4-8816-cfcbadd04c45",
      "eventID": "9f99dce0-0864-49a0-bffa-f72287197758",
      "eventType": "AwsApiCall",
      "recipientAccountId": "role-account-id"
    }, 
      ...additional entries
  ]
}