View a markdown version of this page

Mengkonfigurasi Sumber Bucket S3 Kustom - Amazon CloudWatch

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengkonfigurasi Sumber Bucket S3 Kustom

Dengan CloudWatch pipeline, Anda dapat memproses log arbitrer yang disimpan dalam bucket S3.

Prasyarat

Untuk menggunakan Amazon S3 sebagai sumber untuk pipeline, pertama buat bucket S3. Untuk petunjuk, lihat Membuat bucket tujuan umum di Panduan Pengguna Amazon S3.

catatan

Jika bucket S3 yang digunakan sebagai sumber dalam pipeline berada di AWS akun yang berbeda, Anda juga perlu mengaktifkan izin baca lintas akun di bucket. Hal ini memungkinkan pipeline untuk membaca dan memproses data. Untuk mengaktifkan izin lintas akun, lihat Pemilik Bucket memberikan izin bucket lintas-akun di Panduan Pengguna Amazon S3.

Jika bucket S3 Anda ada di beberapa akun, gunakan bucket_owners peta. Sebagai contoh, lihat akses Cross-account S3 dalam OpenSearch dokumentasi.

Untuk mengatur S3-SQS pemrosesan, Anda juga perlu melakukan langkah-langkah berikut:

Konfigurasikan peran pipeline

Tidak seperti plugin sumber lain yang mendorong data ke pipeline, plugin sumber S3 memiliki arsitektur berbasis baca di mana pipeline menarik data dari sumber. Oleh karena itu, agar pipeline dapat dibaca dari S3, Anda harus menentukan peran dalam konfigurasi sumber S3 pipeline yang memiliki akses ke bucket S3 dan antrian Amazon SQS. Pipeline akan mengambil peran ini untuk membaca data dari antrian.

Anda dapat menemukan contoh izin peran dalam kebijakan Source-specific IAM. Perhatikan bahwa peran ini harus memiliki hubungan kepercayaan dengan prinsip layanan CloudWatch pipeline. Anda dapat menemukan contoh konfigurasi kebijakan kepercayaan untuk peran pipeline Anda di Relasi kepercayaan.

Buat pipa

Setelah menyiapkan izin, Anda dapat mengonfigurasi pipeline tergantung pada kasus penggunaan Amazon S3 Anda.

Pilih Buat pipeline di tab Pipel ines di bawah Pen yer apan di Kon CloudWatch sol. Ikuti langkah-langkah wizard pipeline dan berikan ARN antrian SQS dan peran IAM pipeline yang diperlukan saat diminta. Secara opsional, berikan nama sumber data dan jenis untuk dilampirkan ke tujuan grup CloudWatch log di Log.

Pastikan untuk mengonfigurasi kebijakan sumber daya CloudWatch Log jika kebijakan tersebut belum dikonfigurasi ke grup log tujuan, lalu pilih Buat pipeline di langkah Tinjau dan buat. Pipeline akan dibuat dan data akan mulai mengalir dalam waktu 5 menit jika berhasil.

Akun silang Amazon S3 sebagai sumber

Anda dapat memberikan akses lintas akun dengan Amazon S3 sehingga CloudWatch pipeline dapat mengakses bucket S3 di akun lain sebagai sumber. Untuk mengaktifkan akses lintas akun, lihat Pemilik Bucket memberikan izin bucket lintas-akun di Panduan Pengguna Amazon S3. Setelah Anda memberikan akses, pastikan peran pipeline Anda memiliki izin yang diperlukan.

Kemudian, Anda dapat membuat pipeline menggunakan bucket_owners untuk mengaktifkan akses lintas akun ke bucket Amazon S3 sebagai sumber.

Konfigurasi sumber kustom

Saat membuat pipeline untuk sumber khusus:

  • Parser harus menjadi prosesor pertama dalam pipeline

  • Anda dapat menentukan prosesor yang didukung untuk pipeline log kustom