Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Pencatatan Amazon MSK
Amazon MSK mendukung log broker dan otorisasi pada broker Standar dan Ekspres. Anda dapat mengirimkan log ini ke satu atau beberapa jenis tujuan berikut: Amazon CloudWatch Logs, Amazon S3, Amazon Data Firehose. Anda juga dapat mencatat panggilan Amazon MSK API dengan AWS CloudTrail.
Anda harus membuat sumber daya tujuan sebelum mengonfigurasi cluster Anda untuk mengirimkan log ke sana. Amazon MSK tidak membuat sumber daya tujuan ini untuk Anda jika sumber daya tersebut belum ada. Untuk informasi tentang ketiga jenis sumber daya tujuan ini dan cara membuatnya, lihat dokumentasi berikut:
Log broker
Log broker memungkinkan Anda memecahkan masalah aplikasi Apache Kafka Anda dan menganalisis komunikasi mereka dengan cluster MSK Anda. Anda dapat mengonfigurasi cluster MSK baru atau yang sudah ada untuk mengirimkan log INFO-level broker ke satu atau beberapa jenis sumber daya tujuan berikut: grup CloudWatch log, bucket S3, aliran pengiriman Firehose. Melalui Firehose Anda kemudian dapat mengirimkan data log dari aliran pengiriman Anda ke OpenSearch Layanan.
Konfigurasikan log broker menggunakan AWS CLI
Ketika Anda menggunakan update-monitoring perintah create-cluster atau, Anda dapat secara opsional menentukan logging-info parameter dan meneruskannya struktur JSON seperti contoh berikut. Dalam JSON ini, ketiga jenis tujuan adalah opsional.
catatan
Anda harus mengatur LogDeliveryEnabled tag ke true pada aliran Firehose untuk mengatur pengiriman log. Peran terkait layanan yang dibuat untuk AWS CloudWatch log menggunakan tag ini untuk memberikan izin untuk semua aliran pengiriman Firehose. Jika Anda menghapus tag ini, peran terkait layanan tidak akan dapat mengirimkan log ke aliran Firehose. Untuk melihat contoh kebijakan IAM yang menunjukkan izin yang disertakan oleh peran terkait layanan, lihat Peran IAM yang digunakan untuk izin sumber daya di Panduan Pengguna Amazon. CloudWatch
{ "BrokerLogs": { "S3": { "Bucket": "amzn-s3-demo-bucket", "Prefix": "ExamplePrefix", "Enabled": true }, "Firehose": { "DeliveryStream": "ExampleDeliveryStreamName", "Enabled": true }, "CloudWatchLogs": { "Enabled": true, "LogGroup": "ExampleLogGroupName" } } }
Konfigurasikan log broker menggunakan API
Anda dapat menentukan loggingInfo struktur opsional dalam JSON yang Anda berikan ke UpdateMonitoring operasi CreateCluster atau.
catatan
Secara default, saat pencatatan broker diaktifkan, Amazon MSK mencatat log INFO level ke tujuan yang ditentukan. Namun untuk broker Standar dan Ekspres, pengguna Apache Kafka 2.4.X dan yang lebih baru dapat secara dinamis mengatur level log broker ke salah satu level log log4j. DEBUG atauTRACE, sebaiknya gunakan Amazon S3 atau Firehose sebagai tujuan log. Jika Anda menggunakan CloudWatch Log sebagai tujuan log dan Anda mengaktifkan DEBUG atau mencatatkan pen TRACE catatan secara dinamis, Amazon MSK dapat terus mengirimkan sampel log. Ini dapat berdampak signifikan pada kinerja broker dan hanya boleh digunakan ketika level INFO log tidak cukup bertele-tele untuk menentukan akar penyebab masalah.
Log pemberi otorisasi
Log otorizer menangkap keputusan otorisasi yang dibuat oleh cluster MSK Anda. Anda dapat menggunakan log ini untuk memantau pola akses klien dan memecahkan masalah otorisasi. Anda dapat mengonfigurasi cluster MSK untuk mengirimkan log otorizer ke satu atau beberapa jenis sumber daya tujuan berikut: grup CloudWatch log, bucket S3, aliran pengiriman Firehose.
Konfigurasikan log otorizer menggunakan AWS CLI
Ketika Anda menggunakan update-monitoring perintah create-cluster atau, Anda dapat secara opsional menentukan logging-info parameter dan meneruskannya struktur JSON seperti contoh berikut. Dalam JSON ini, ketiga jenis tujuan adalah opsional.
{ "AuthorizerLogs": { "S3": { "Bucket": "amzn-s3-demo-bucket", "Prefix": "ExamplePrefix", "Enabled": true }, "Firehose": { "DeliveryStream": "ExampleDeliveryStreamName", "Enabled": true }, "CloudWatchLogs": { "Enabled": true, "LogGroup": "ExampleLogGroupName" } } }
Konfigurasikan log otorizer menggunakan API
Anda dapat menentukan loggingInfo struktur opsional dalam JSON yang Anda berikan ke UpdateMonitoring operasi CreateCluster atau.
Izin yang diperlukan
Untuk mengonfigurasi tujuan untuk log Amazon MSK, identitas IAM yang Anda gunakan untuk tindakan Amazon MSK harus memiliki izin yang dijelaskan dalam kebijakan. AWS kebijakan yang dikelola: AmazonMSKFullAccess
Untuk melakukan streaming log ke bucket S3, Anda juga memerlukan s3:PutBucketPolicy izin. Untuk informasi tentang kebijakan bucket S3, lihat Bagaimana Cara Menambahkan Kebijakan Bucket S3? dalam Panduan Pengguna Amazon S3. Untuk informasi tentang kebijakan IAM secara umum, lihat Manajemen Akses di Panduan Pengguna IAM.
Kebijakan kunci KMS yang diperlukan untuk digunakan dengan bucket SSE-KMS
Jika Anda mengaktifkan enkripsi sisi server untuk bucket S3 menggunakan AWS KMS-managed keys (SSE-KMS) dengan kunci yang dikelola pelanggan, tambahkan berikut ini ke kebijakan kunci untuk kunci KMS Anda sehingga Amazon MSK dapat menulis log ke bucket.
{ "Sid": "Allow Amazon MSK to use the key.", "Effect": "Allow", "Principal": { "Service": [ "delivery.logs.amazonaws.com" ] }, "Action": [ "kms:Encrypt", "kms:Decrypt", "kms:ReEncrypt*", "kms:GenerateDataKey*", "kms:DescribeKey" ], "Resource": "*" }
Konfigurasikan log menggunakan Konsol Manajemen AWS
Jika Anda membuat cluster baru, cari judul Pengiriman log Broker atau Pengiriman log Authorizer di bagian Monitoring. Anda dapat menentukan tujuan yang ingin Amazon MSK mengirimkan log Anda.
Untuk cluster yang ada, pilih cluster dari daftar cluster Anda, lalu pilih tab Properties. Gulir ke bawah ke bagian Log delivery dan kemudian pilih tombol Edit. Anda dapat menentukan tujuan yang ingin Amazon MSK mengirimkan log Anda.
