CloudWatch Logs へのサーバーアクセスログの配信

Amazon CloudWatch Logs が提供するログ配信を使用して、Amazon S3 サーバーアクセスログを Amazon CloudWatch Logs ロググループに配信できます。ログが CloudWatch Logs に保存されたら、CloudWatch Logs Insights でクエリを実行し、アカウントとリージョン間で集約して AWS Key Management Service (AWS KMS) で暗号化し、オプションで Apache Iceberg 形式で Amazon S3 Tables に配信して SQL 分析を行うことができます。また、ログを JSON または Apache Parquet 形式で Amazon S3 に配信したり、Amazon Data Firehose 経由でルーティングしたりすることもできます。

Amazon S3 API ではなく CloudWatch Logs API を使用して配信を設定します。ソースバケットごとにロググループを指定します。複数のバケットが同じロググループを共有することも、各バケットが独自のロググループに配信することもできます。

前提条件

配信を設定する前に、以下が必要です。

配信の設定 (AWS CLI)

AWS Command Line Interface を使用して CloudWatch Logs へのサーバーアクセスログ配信を設定するには、次の 3 つのステップを実行します。

これらのステップを完了すると、Amazon S3 は CloudWatch Logs ロググループへのサーバーアクセスログの配信を開始します。設定の伝播には 15～20 分かかります。伝播後、ログ配信は通常数時間以内に開始されます。新しいリクエストのみがログに記録されます。履歴データのバックフィルはありません。

配信の設定 (Amazon S3 コンソール)

保存後、[CloudWatch Logs へのサーバーアクセスログの配信] セクションに、有効なロググループが表示されます。

配信の設定 (CloudFormation)

AWS CloudFormation を使用して、CloudWatch Logs へのサーバーアクセスログ配信の設定を自動化できます。次のテンプレートは、IAM ロール、CloudWatch Logs ロググループ、配信ソース、配信先、および配信に必要なリソースを作成します。

AWSTemplateFormatVersion: '2010-09-09'
Description: S3 Access Logs delivery to CloudWatch Logs

Parameters:
  SourceBucketArn:
    Type: String
    Description: ARN of the S3 bucket to enable access logging
  LogGroupName:
    Type: String
    Default: /aws/s3/access-logs
    Description: CloudWatch Log Group name for SAL delivery

Resources:
  SALLogGroup:
    Type: AWS::Logs::LogGroup
    Properties:
      LogGroupName: !Ref LogGroupName
      RetentionInDays: 180

  SALDeliverySource:
    Type: AWS::Logs::DeliverySource
    Properties:
      Name: !Sub '${AWS::StackName}-sal-source'
      ResourceArn: !Ref SourceBucketArn
      LogType: S3_SERVER_ACCESS_LOGS

  SALDeliveryDestination:
    Type: AWS::Logs::DeliveryDestination
    Properties:
      Name: !Sub '${AWS::StackName}-sal-destination'
      DestinationResourceArn: !GetAtt SALLogGroup.Arn

  SALDelivery:
    Type: AWS::Logs::Delivery
    Properties:
      DeliverySourceName: !Ref SALDeliverySource
      DeliveryDestinationArn: !GetAtt SALDeliveryDestination.Arn

S3 Tables 統合の有効化 (オプション)

S3 Tables 統合を有効にすると、CloudWatch Logs はサーバーアクセスログを Apache Iceberg 形式でアカウントの aws-cloudwatch マネージドテーブルバケットに自動的に配信します。その後、Amazon Athena、Amazon Redshift、または Iceberg 互換ツールを使用して、このデータをクエリできます。

S3 Tables 統合では、ストレージやテーブルのメンテナンスに追加料金はかかりません。CloudWatch Logs の取り込みとクエリリクエストに対してのみ、S3 Tables の料金が発生します。

これらのステップの後、CloudWatch Logs は aws-cloudwatch マネージドテーブルバケットを作成し、Iceberg 形式でログの配信を開始します。通常、データは CloudWatch Logs への最初の配信から 1 時間以内に表示されます。

S3 Tables 統合のクエリについては、「S3 Tables でのアクセスログのクエリ」を参照してください。

クロスアカウントおよびクロスリージョン集約

CloudWatch Logs 配信パスは、次の 2 つのオプションを使用して、クロスアカウントログとクロスリージョンログの集約をサポートします。

マルチアカウント設定の場合、管理者は AWS Organizations で CloudWatch Telemetry Config 有効化ルールを使用して、メンバーアカウント間でサーバーアクセスログの配信を自動的に有効にできます。

暗号化

ロググループで AWS KMS の暗号化を設定することで、CloudWatch Logs に配信されるサーバーアクセスログを暗号化できます。サーバーアクセスログがそのロググループに配信されると、AWS KMS キーで暗号化されます。これは、SSE-S3 暗号化のみをサポートする Amazon S3 汎用バケット配信パスのキー制限に対処します。

AWS KMS で暗号化されたロググループと S3 Tables の統合を有効にする場合は、次のサービスプリンシパルに AWS KMS キーポリシーで追加のアクセス許可を付与する必要があります。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "EnableCWSystemTablesKeyUsage",
      "Effect": "Allow",
      "Principal": {
        "Service": "systemtables.cloudwatch.amazonaws.com"
      },
      "Action": [
        "kms:DescribeKey",
        "kms:GenerateDataKey",
        "kms:Decrypt"
      ],
      "Resource": "arn:aws:kms:us-east-1:123456789012:key/key-id",
      "Condition": {
        "StringEquals": {
          "aws:SourceAccount": "123456789012"
        }
      }
    },
    {
      "Sid": "EnableS3TablesMaintenanceKeyUsage",
      "Effect": "Allow",
      "Principal": {
        "Service": "maintenance.s3tables.amazonaws.com"
      },
      "Action": [
        "kms:GenerateDataKey",
        "kms:Decrypt"
      ],
      "Resource": "arn:aws:kms:us-east-1:123456789012:key/key-id",
      "Condition": {
        "StringLike": {
          "kms:EncryptionContext:aws:s3:arn": "table-bucket-arn/*"
        }
      }
    }
  ]
}

systemtables.cloudwatch.amazonaws.com プリンシパルは、CloudWatch Logs が S3 Tables にログを書き込むために使用されます。maintenance.s3tables.amazonaws.com プリンシパルは、圧縮などの Iceberg オペレーションのために S3 Tables によって使用されます。

配信の無効化

CloudWatch Logs へのサーバーアクセスログの配信を停止するには、配信または配信ソースを削除します。

以前に配信されたログは、ロググループと S3 Tables の統合 (有効になっている場合) に残ります。配信を削除しても、既存のログデータは削除されません。