View a markdown version of this page

Replikasi aktif-aktif - Amazon Managed Streaming untuk Apache Kafka

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Replikasi aktif-aktif

Dalam pengaturan aktif-aktif, kedua kluster MSK secara aktif melayani membaca dan menulis. Topologi cluster aktif-aktif menawarkan waktu pemulihan mendekati nol dan kemampuan aplikasi streaming Anda untuk beroperasi secara bersamaan di beberapa Wilayah. AWS

Menggunakan replikasi nama topik Awalan (disarankan)

Sebaiknya gunakan replikasi nama topik Awalan (Tambahkan awalan ke nama topik di konsol) untuk pengaturan aktif-aktif. Ini memerlukan konfigurasi ulang konsumen Anda untuk membaca topik yang direplikasi, tetapi menghindari biaya pemrosesan data tambahan.

  1. Buat Replikator MSK dengan MSK cluster A sebagai sumber dan MSK cluster B sebagai target.

  2. Setelah MSK Replicator di atas berhasil dibuat, buat Replicator dengan cluster B sebagai sumber dan cluster A sebagai target.

  3. Buat dua set produsen, masing-masing menulis data pada saat yang sama ke dalam topik lokal (misalnya, “topik”) di cluster di Wilayah yang sama dengan produser.

  4. Buat dua set konsumen, masing-masing membaca data menggunakan langganan wildcard (seperti.*topic) dari cluster MSK di AWS Wilayah yang sama dengan konsumen. Dengan cara ini konsumen Anda akan secara otomatis membaca data yang dihasilkan secara lokal dari topik lokal (misalnya,topic), serta data yang direplikasi dari Wilayah lain dalam topik dengan awalan. <sourceKafkaClusterAlias>.topic Kedua set konsumen ini harus memiliki kelompok konsumen yang berbeda IDs sehingga offset kelompok konsumen tidak ditimpa ketika MSK Replicator menyalinnya ke cluster lain.

Menggunakan replikasi nama topik yang identik

Jika Anda ingin menghindari konfigurasi ulang klien Anda, Anda dapat membuat Replikator MSK menggunakan replikasi nama topik yang identik (Simpan nama topik yang sama di konsol). Namun, Anda akan membayar biaya pemrosesan data dan transfer data tambahan untuk setiap Replicator. Ini karena setiap Replicator perlu memproses dua kali jumlah data yang biasa, sekali untuk replikasi dan lagi untuk mencegah loop tak terbatas. Anda dapat melacak jumlah total data yang diproses oleh setiap replikator menggunakan ReplicatorBytesInPerSec metrik.

catatan

Jika Anda menggunakan replikasi nama topik identik untuk topologi aktif-aktif, tunggu setidaknya 30 detik setelah menghapus topik sebelum membuat ulang topik dengan nama yang sama. Masa tunggu ini membantu mencegah pesan duplikat direplikasi kembali ke cluster sumber. Konsumen Anda harus dapat memproses ulang pesan duplikat tanpa dampak hilir.