AWS Data Pipelineでのログ記録とモニタリング - AWS Data Pipeline
AWS Data PipelineCloudTrailでの情報AWS Data Pipeline ログファイルエントリの概要

AWS Data Pipeline新規のお客様への の提供は終了しました。AWS Data Pipeline の既存のお客様は、通常どおりサービスを引き続き使用できます。詳細

AWS Data Pipelineでのログ記録とモニタリング

AWS Data PipelineはAWS CloudTrailという、AWS Data Pipelineのユーザーやロール、またはAWSのサービスによって実行されたアクションを記録するサービスと統合しています。CloudTrailは、AWS Data PipelineのすべてのAPIコールをイベントとしてキャプチャします。キャプチャされた呼び出しには、AWS Data Pipelineコンソールの呼び出しと、AWS Data Pipeline API オペレーションへのコード呼び出しが含まれます。証跡を作成する場合は、AWS Data Pipelineのイベントなど、Amazon S3バケットへのCloudTrailイベントの継続的な配信を有効にすることができます。証跡を設定しない場合でも、「CloudTrail」 コンソールの 「イベント履歴」 で最新のイベントを表示できます。CloudTrailによって収集された情報を使用して、AWS Data Pipelineに対して行われた要求、要求が行われたIPアドレス、要求を行った人、要求が行われた日時、および追加の詳細を判別できます。

CloudTrail の詳細については、「AWS CloudTrail ユーザーガイド」を参照してください。

AWS Data PipelineCloudTrailでの情報

CloudTrailは、アカウントを作成するとAWSアカウントで有効になります。AWS Data Pipelineでアクティビティが発生すると、そのアクティビティは[Event history（イベント履歴）]でAWSのその他のサービスのイベントと共にCloudTrailイベントに記録されます。最近のイベントは、AWSアカウントで表示、検索、ダウンロードできます。詳細については、「CloudTrailイベント履歴でのイベントの表示」を参照してください。

AWSのイベントなど、AWS Data Pipelineアカウントのイベントの継続的なレコードについては、追跡を作成します。追跡により、CloudTrailはログファイルをSimple Storage Service (Amazon S3) バケットに配信できます。デフォルトでは、コンソールで作成した証跡がすべての AWS リージョンに適用されます。証跡は、AWS パーティションのすべてのリージョンからのイベントをログに記録し、指定した Amazon S3 バケットにログファイルを配信します。さらに、CloudTrail ログで収集したイベントデータをより詳細に分析し、それに基づいて対応するため、他の AWS サービスを構成できます。詳細については、次を参照してください:

ログには、CloudTrailによってすべてのAWS Data Pipelineアクションが記録されます。これらのアクションについては、AWS Data Pipeline APIリファレンスのアクションの章を参照してください。例えば、CreatePipelineアクションを呼び出すと、CloudTrailログファイルにエントリが生成されます。

各イベントまたはログエントリには、リクエストの生成者に関する情報が含まれます。アイデンティティ情報は、以下を判別するのに役立ちます。

  • リクエストが、ルートとIAMロール認証情報のどちらを使用して送信されたか。

  • リクエストがロールまたはフェデレーションユーザーのテンポラリなセキュリティ認証情報を使用して行われたかどうか。

  • リクエストが別の AWS サービスによって行われたかどうか。

詳細については、「CloudTrail userIdentity 要素」を参照してください。

AWS Data Pipeline ログファイルエントリの概要

追跡は、指定したAmazon S3バケットにイベントをログファイルとして配信するように設定できます。CloudTrail のログファイルは、単一か複数のログエントリを含みます。イベントは任意ソースからの単一リクエストを表し、リクエストされたアクション、アクションの日時、リクエストパラメータなどの情報を含みます。CloudTrailログファイルは、パブリックAPIコールの順序付けられたスタックトレースではないため、特定の順序では表示されません。

CreatePipelineオペレーションを示すCloudTrailログエントリの例は、次のとおりです。


      {
  "Records": [
    {
      "eventVersion": "1.02",
      "userIdentity": {
        "type": "Root",
        "principalId": "123456789012",
        "arn": "arn:aws:iam::aws-account-id:role/role-name",
        "accountId": "role-account-id",
        "accessKeyId": "role-access-key"
      },
      "eventTime": "2014-11-13T19:15:15Z",
      "eventSource": "datapipeline.amazonaws.com",
      "eventName": "CreatePipeline",
      "awsRegion": "us-east-1",
      "sourceIPAddress": "72.21.196.64",
      "userAgent": "aws-cli/1.5.2 Python/2.7.5 Darwin/13.4.0",
      "requestParameters": {
        "name": "testpipeline",
        "uniqueId": "sounique"
      },
      "responseElements": {
        "pipelineId": "df-06372391ZG65EXAMPLE"
      },
      "requestID": "65cbf1e8-6b69-11e4-8816-cfcbadd04c45",
      "eventID": "9f99dce0-0864-49a0-bffa-f72287197758",
      "eventType": "AwsApiCall",
      "recipientAccountId": "role-account-id"
    }, 
      ...additional entries
  ]
}