Konfigurasikan pengaturan sumber untuk Amazon MSK - Amazon Data Firehose

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Konfigurasikan pengaturan sumber untuk Amazon MSK

Ketika Anda memilih Amazon MSK untuk mengirim informasi ke aliran Firehose, Anda dapat memilih antara kluster MSK yang disediakan dan MSK-Serverless. Anda kemudian dapat menggunakan Firehose untuk membaca data dengan mudah dari kluster dan topik MSK Amazon tertentu dan memuatnya ke tujuan S3 yang ditentukan.

Di bagian Pengaturan sumber halaman, berikan nilai untuk bidang berikut.

Konektivitas kluster MSK Amazon

Pilih salah satu broker bootstrap pribadi (disarankan) atau opsi pialang bootstrap publik berdasarkan konfigurasi cluster Anda. Broker Bootstrap adalah apa yang digunakan klien Apache Kafka sebagai titik awal untuk terhubung ke cluster. Broker bootstrap publik ditujukan untuk akses publik dari luar AWS, sedangkan broker bootstrap swasta dimaksudkan untuk akses dari dalam AWS. Untuk informasi selengkapnya tentang Amazon MSK, lihat Amazon Managed Streaming for Apache Kafka.

Untuk terhubung ke cluster MSK Amazon yang disediakan atau tanpa server melalui broker bootstrap pribadi, cluster harus memenuhi semua persyaratan berikut.

  • Klaster harus aktif.

  • Cluster harus memiliki IAM sebagai salah satu metode kontrol aksesnya.

  • Konektivitas pribadi multi-VPC harus diaktifkan untuk metode kontrol akses IAM.

  • Anda harus menambahkan ke klaster ini kebijakan berbasis sumber daya yang memberikan izin kepada kepala layanan Firehose untuk menjalankan operasi Amazon MSK API. CreateVpcConnection

Untuk terhubung ke cluster MSK Amazon yang disediakan melalui broker bootstrap publik, cluster harus memenuhi semua persyaratan berikut.

  • Klaster harus aktif.

  • Cluster harus memiliki IAM sebagai salah satu metode kontrol aksesnya.

  • Cluster harus dapat diakses publik.

Akun klaster MSK

Anda dapat memilih akun tempat klaster MSK Amazon berada. Ini bisa menjadi salah satu dari berikut ini.

  • Akun saat ini — Memungkinkan Anda untuk menelan data dari kluster MSK di akun saat ini AWS . Untuk ini, Anda harus menentukan ARN cluster MSK Amazon dari mana aliran Firehose Anda akan membaca data.

  • Cross-account — Memungkinkan Anda untuk menelan data dari klaster MSK di akun lain. AWS Untuk informasi selengkapnya, lihat Pengiriman lintas akun dari Amazon MSK.

Topik

Tentukan topik Apache Kafka dari mana Anda ingin aliran Firehose Anda untuk menelan data. Anda tidak dapat memperbarui topik ini setelah pembuatan aliran Firehose selesai.

catatan

Firehose secara otomatis mendekompresi pesan Apache Kafka.