Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Akses log dengan Integrasi Tabel S3

Integrasi Tabel S3 CloudWatch memungkinkan Anda mengakses data log yang tertelan CloudWatch menggunakan mesin analitik seperti Amazon Athena, Amazon Redshift, dan alat pihak ketiga yang mendukung koneksi ke toko yang kompatibel dengan Apache Iceberg. Integrasi ini memungkinkan Anda untuk melakukan analisis log komprehensif menggunakan alat preferensi Anda dan mengkorelasikan data dalam CloudWatch Log dengan CloudWatch non-data.

Memahami Integrasi Tabel S3

Integrasi Tabel Amazon S3 adalah solusi terkelola penuh yang membuat log Anda di CloudWatch Log tersedia sebagai tabel Amazon S3 terkelola. Dengan integrasi ini, Anda mendapatkan fleksibilitas yang lebih besar tentang cara Anda menganalisis log Anda selain fitur CloudWatch Log.

Integrasi berfungsi dengan membuat bucket tabel Amazon S3 terkelola (aws-cloudwatch) dan mengaitkan sumber log tertentu dengan Tabel Amazon S3 berdasarkan nama dan jenis sumber data (yang dapat dikelola dari tab Manajemen Log > Sumber Data di Konsol Log). CloudWatch Setelah dikaitkan, data CloudWatch Log dapat diakses melalui Tabel Amazon S3 menggunakan format Apache Iceberg. Format ini menyediakan cara standar untuk berbagai mesin analitik untuk menanyakan data secara efisien.

Komponen Inti

Aliran data ke tabel S3

Memahami bagaimana aliran data antara CloudWatch Log dan Tabel S3 membantu Anda merencanakan integrasi dan mengelola data log Anda secara efektif.

Saat Anda membuat asosiasi, CloudWatch Log secara otomatis mengirimkan peristiwa log baru yang cocok dengan nama sumber data terkait dan mengetik ke bucket tabel S3 yang CloudWatch dikelola. Anda dapat menemukan peristiwa ini di namespace log di bawah tabel yang sesuai untuk sumber data tersebut. Proses integrasi hanya mencatat peristiwa yang ditambahkan setelah Anda membuat asosiasi dan tidak mengisi kembali log sebelum asosiasi dibuat.

Penyimpanan data di bucket tabel S3 cocok dengan set kebijakan retensi untuk grup log. Misalnya, jika Anda menyetel grup log ke retensi 1 hari, CloudWatch Log akan menghapus data dari CloudWatch Log dan Tabel S3 setelah satu hari. Saat Anda menghapus grup log atau aliran CloudWatch log, Log juga menghapus data dari bucket tabel S3.

Kapan Menggunakan Integrasi Tabel S3

Pertimbangkan untuk menggunakan integrasi Tabel S3 untuk mengkorelasikan data log dengan data eksternal atau CloudWatch non-data lainnya atau bila Anda lebih suka menggunakan alat analisis lain seperti Amazon Athena untuk melakukan analitik CloudWatch pada data Log. Gunakan integrasi ini saat Anda membutuhkan kemampuan yang melampaui apa yang tersedia di CloudWatch Log. Integrasi ini sangat berharga ketika:

Tidak ada biaya penyimpanan atau pemeliharaan meja tambahan untuk tabel S3 yang dibuat melalui integrasi ini, di luar CloudWatch penetapan dan harga penyimpanan yang ada.

Prasyarat

Sebelum menerapkan integrasi, pastikan Anda memiliki yang berikut:

Izin IAM

Untuk mengintegrasikan CloudWatch Log dengan Tabel S3, Anda perlu mengonfigurasi izin IAM untuk dua entitas terpisah: pengguna atau peran yang mengatur integrasi, dan peran layanan yang diasumsikan CloudWatch Log untuk menulis data ke Tabel S3.

Untuk peran atau pengguna yang membuat integrasi

Pengguna atau peran yang mengatur integrasi memerlukan izin berikut:

Untuk peran layanan

Lampirkan kebijakan IAM berikut ke peran layanan IAM yang digunakan CloudWatch Log untuk menulis data ke bucket tabel. Kebijakan ini memberikan izin untuk menulis ke tabel. Ganti aws-region123456789012,, dan log-group-name dengan AWS Region, ID akun, dan nama grup log Anda.

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "logs:integrateWithS3Table"
            ],
            "Resource": ["arn:aws:logs:aws-region:123456789012:log-group:log-group-name"],
            "Condition": {
                "StringEquals": {
                    "aws:ResourceAccount": "123456789012"
                }
            }
        }
    ]
}

Lampirkan kebijakan kepercayaan berikut ke peran layanan IAM yang akan diasumsikan oleh CloudWatch Log untuk menulis data log ke Tabel S3. Anda membuat atau memilih peran ini selama penyiapan integrasi. Kondisi membatasi peran sehingga CloudWatch Log hanya dapat menganggapnya untuk akun dan grup log yang ditentukan. Ganti aws-region123456789012,, dan log-group-name dengan AWS Region, ID akun, dan nama grup log Anda.

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "logs.amazonaws.com"
            },
            "Action": "sts:AssumeRole",
            "Condition": {
                "StringEquals": {
                    "aws:SourceAccount": "123456789012"
                },
                "ArnLike": {
                    "aws:SourceArn": ["arn:aws:logs:aws-region:123456789012:log-group:log-group-name"]
                }
            }
        } 
    ]
}

Kebijakan kunci KMS (untuk data terenkripsi)

Jika Anda menggunakan kunci yang dikelola pelanggan untuk mengenkripsi data log Anda, Anda harus memberikan akses utama CloudWatch layanan dan prinsipal layanan pemeliharaan Tabel S3 ke kunci tersebut. Tambahkan pernyataan berikut ke kebijakan kunci KMS Anda. Ganti nilai placeholder dengan ID, Region, Akun AWS ID kunci KMS, dan ARN tabel atau tabel S3.

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "EnableSystemTablesKeyUsage",
            "Effect": "Allow",
            "Principal": {
                "Service": "systemtables.cloudwatch.amazonaws.com"
            },
            "Action": [
                "kms:DescribeKey",
                "kms:GenerateDataKey",
                "kms:Decrypt"
            ],
            "Resource": "arn:aws:kms:aws-region:123456789012:key/key-id",
            "Condition": {
                "StringEquals": {
                    "aws:SourceAccount": "123456789012"
                }
            }
        },
        {
            "Sid": "EnableKeyUsage",
            "Effect": "Allow",
            "Principal": {
                "Service": "maintenance.s3tables.amazonaws.com"
            },
            "Action": [
                "kms:GenerateDataKey",
                "kms:Decrypt"
            ],
            "Resource": "arn:aws:kms:aws-region:123456789012:key/key-id",
            "Condition": {
                "StringLike": {
                    "kms:EncryptionContext:aws:s3:arn": "<table-or-table-bucket-arn>/*"
                }
            }
        }
    ]
}

Memulai

Untuk memulai Integrasi Tabel S3, Anda perlu mengatur integrasi antara CloudWatch Log dan Tabel S3 Anda. Proses ini melibatkan konfigurasi asosiasi sumber data dan pengaturan izin IAM yang sesuai.