Mengkonfigurasi Sumber Bucket S3 Kustom - Amazon CloudWatch

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengkonfigurasi Sumber Bucket S3 Kustom

Dengan CloudWatch saluran pipa, Anda dapat memproses log arbitrer yang disimpan dalam ember S3.

Prasyarat

Untuk menggunakan Amazon S3 sebagai sumber pipeline, buat bucket S3 terlebih dahulu. Untuk petunjuknya, lihat Membuat bucket tujuan umum di Panduan Pengguna Amazon S3.

catatan

Jika bucket S3 yang digunakan sebagai sumber dalam pipeline berada di AWS akun yang berbeda, Anda juga perlu mengaktifkan izin baca lintas akun di bucket. Hal ini memungkinkan pipeline untuk membaca dan memproses data. Untuk mengaktifkan izin lintas akun, lihat Pemilik Bucket yang memberikan izin bucket lintas akun di Panduan Pengguna Amazon S3.

Jika bucket S3 Anda ada di beberapa akun, gunakan petabucket_owners. Sebagai contoh, lihat Akses S3 lintas akun dalam dokumentasi. OpenSearch

Untuk mengatur pemrosesan S3-SQS, Anda juga perlu melakukan langkah-langkah berikut:

Konfigurasikan peran pipeline

Tidak seperti plugin sumber lain yang mendorong data ke pipeline, plugin sumber S3 memiliki arsitektur berbasis baca di mana pipeline menarik data dari sumbernya. Oleh karena itu, agar pipeline dapat dibaca dari S3, Anda harus menentukan peran dalam konfigurasi sumber S3 pipeline yang memiliki akses ke bucket S3 dan antrean Amazon SQS. Pipeline akan mengambil peran ini untuk membaca data dari antrian.

Anda dapat menemukan contoh izin peran dalam kebijakan IAM khusus Sumber. Perhatikan bahwa peran ini harus memiliki hubungan kepercayaan dengan prinsip layanan CloudWatch pipa. Anda dapat menemukan contoh konfigurasi kebijakan kepercayaan untuk peran pipeline Anda dalam hubungan Trust.

Buat pipa

Setelah menyiapkan izin, Anda dapat mengonfigurasi pipeline tergantung pada kasus penggunaan Amazon S3.

Pilih Buat pipeline di tab Pipelines di bawah Tertelan di Konsol. CloudWatch Ikuti langkah-langkah panduan pipeline dan berikan ARN antrian SQS dan peran IAM pipeline yang diperlukan saat diminta. Secara opsional berikan nama dan jenis sumber data untuk dilampirkan ke tujuan grup CloudWatch log di Log.

Pastikan untuk mengonfigurasi kebijakan sumber daya CloudWatch Log jika belum dikonfigurasi ke grup log tujuan, lalu pilih Buat pipeline di langkah Tinjauan dan buat. Pipa akan dibuat dan data akan mulai mengalir dalam waktu 5 menit jika berhasil.

Akun lintas Amazon S3 sebagai sumber

Anda dapat memberikan akses di seluruh akun dengan Amazon S3 sehingga CloudWatch pipeline dapat mengakses bucket S3 di akun lain sebagai sumber. Untuk mengaktifkan akses lintas akun, lihat Pemilik Bucket yang memberikan izin bucket lintas akun di Panduan Pengguna Amazon S3. Setelah Anda memberikan akses, pastikan bahwa peran pipeline Anda memiliki izin yang diperlukan.

Kemudian, Anda dapat membuat pipeline menggunakan bucket_owners untuk mengaktifkan akses lintas akun ke bucket Amazon S3 sebagai sumber.

Konfigurasi sumber kustom

Saat membuat pipeline untuk sumber khusus:

  • Parser harus menjadi prosesor pertama dalam pipa

  • Anda dapat menentukan prosesor apa pun yang didukung untuk pipeline log kustom