Buat klaster MSK Provisioned menggunakan AWS Management Console - Amazon Managed Streaming untuk Apache Kafka

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Buat klaster MSK Provisioned menggunakan AWS Management Console

Prosedur dalam topik ini menjelaskan tugas umum untuk membuat klaster MSK Provisioned menggunakan opsi Custom create di. AWS Management Console Menggunakan opsi lain yang tersedia di AWS Management Console, Anda juga dapat membuat yang berikut:

Prosedur dalam topik ini

  1. Buka konsol MSK Amazon dihttps://console.aws.amazon.com/msk/.

  2. Pilih Buat klaster.

  3. Untuk metode pembuatan Cluster, pilih Custom create.

  4. Untuk nama Cluster, tentukan nama yang unik dan berisi tidak lebih dari 64 karakter.

  5. Untuk tipe Cluster, pilih Provisioned.

  6. Untuk versi Apache Kafka, pilih versi untuk dijalankan di broker. Untuk melihat perbandingan fitur MSK Amazon yang didukung oleh setiap versi Apache Kafka, pilih Lihat kompatibilitas versi.

  7. Di bagian Broker, lakukan hal berikut:

    1. Untuk jenis Broker, pilih salah satu opsi berikut:

      • Broker ekspres: Broker berkinerja tinggi dan dapat diskalakan dengan penyimpanan virtual yang dikelola sepenuhnya. Pilih jenis broker ini untuk aplikasi yang menuntut dan throughput tinggi.

      • Pialang standar: Broker Kafka tradisional dengan kontrol konfigurasi penuh. Pilih jenis broker ini untuk beban kerja tujuan umum dengan persyaratan throughput moderat.

      Untuk informasi lebih lanjut tentang jenis broker ini, lihatJenis broker MSK Amazon.

    2. Untuk ukuran Broker, pilih ukuran yang akan digunakan untuk cluster berdasarkan kebutuhan komputasi, memori, dan penyimpanan cluster.

    3. Untuk Jumlah zona, pilih jumlah AWS Zona Ketersediaanbroker yang didistribusikan.

      Broker ekspres membutuhkan tiga Availability Zone untuk ketersediaan yang lebih tinggi.

    4. Untuk Broker per zona, tentukan jumlah broker yang ingin dibuat MSK Amazon di setiap Availability Zone. Minimal adalah satu broker per Availability Zone dan maksimum adalah 30 broker per cluster untuk cluster ZooKeeper berbasis dan 60 broker per cluster untuk cluster KRaft berbasis.

Prosedur ini menjelaskan bagaimana Anda dapat mengonfigurasi kebutuhan penyimpanan data Anda di semua broker dan menentukan mode penyimpanan. Ini membantu Anda menentukan persyaratan penyimpanan data berdasarkan kebutuhan beban kerja Anda. Selain itu, prosedur ini menjelaskan pengaturan konfigurasi cluster yang mengontrol bagaimana broker Anda beroperasi. Pengaturan ini mencakup konfigurasi broker, pengaturan topik default, dan kebijakan penyimpanan berjenjang.

  1. Jika Anda memilih jenis broker sebagai Standar, lakukan hal berikut di bagian Penyimpanan:

    1. Untuk Storage, pilih jumlah penyimpanan awal yang Anda inginkan untuk dimiliki cluster Anda. Anda tidak dapat mengurangi kapasitas penyimpanan setelah membuat cluster.

    2. (Opsional) Bergantung pada ukuran broker (ukuran instans) yang Anda pilih, Anda juga dapat menentukan throughput penyimpanan yang disediakan per broker. Opsi ini memungkinkan Anda mengalokasikan kinerja input dan output (I/O) khusus untuk volume Amazon EBS dari setiap broker.

      Untuk mengaktifkan opsi ini, pilih ukuran broker (ukuran instans) kafka.m5.4xlarge atau lebih besar untuk x86, dan kafka.m7g.2xlarge atau lebih besar untuk instance berbasis Graviton. Kemudian, pilih kotak centang Aktifkan throughput penyimpanan yang disediakan. Dengan memilih kotak centang ini, Anda dapat secara manual mengatur minimal 250 MiB per detik throughput. Ini berguna untuk beban kerja intensif I/O atau aplikasi yang membutuhkan kinerja penyimpanan berkecepatan tinggi dan dapat diprediksi. Untuk informasi selengkapnya, lihat Penyediaan throughput penyimpanan untuk pialang Standar di cluster MSK Amazon.

    3. Untuk mode penyimpanan Cluster, tentukan bagaimana data disimpan dan dikelola dalam klaster Anda. Opsi ini menentukan jenis dan konfigurasi penyimpanan yang digunakan untuk broker Anda. Pilih salah satu opsi berikut:

      • Hanya penyimpanan EBS: Menyimpan semua data topik secara lokal di Amazon Elastic Block Store (Amazon EBS) volume yang dilampirkan ke setiap broker. Pilih mode ini untuk kebutuhan kinerja yang konsisten dan akses cepat ke pesan terbaru.

      • Penyimpanan berjenjang dan penyimpanan EBS: Menggabungkan data Amazon EBS lokal dengan penyimpanan jarak jauh dan hemat biaya untuk kumpulan data besar di Amazon S3. Mode ini mengurangi biaya penyimpanan Amazon EBS, mendukung retensi data yang lebih lama, dan menskalakan penyimpanan secara otomatis tanpa intervensi manual. Pilih mode ini ketika Anda ingin menyimpan data untuk waktu yang lebih lama dengan biaya lebih rendah, atau berharap kebutuhan penyimpanan Anda tumbuh secara signifikan.

    catatan

    Anda tidak perlu mengelola penyimpanan untuk broker Express.

  2. Untuk konfigurasi Cluster, tentukan salah satu opsi berikut untuk menentukan perilaku klaster Anda:

    • Konfigurasi default Amazon MSK: Berisi set konfigurasi yang telah ditentukan sebelumnya yang dioptimalkan untuk kasus penggunaan tujuan umum. Pilih opsi ini untuk penyiapan dan penerapan cluster cepat. Untuk informasi tentang konfigurasi MSK Amazon, lihat. Konfigurasi Amazon MSK yang disediakan

    • Konfigurasi kustom: Memungkinkan Anda menentukan pengaturan broker dan topik Anda sendiri. Anda dapat memilih konfigurasi kustom yang sudah ada dari daftar atau membuat konfigurasi kustom baru. Pilih opsi ini untuk kontrol yang disetel dengan baik untuk broker Anda, seperti penyetelan kinerja tertentu, pengaturan keamanan, dan banyak lagi.

  3. Pilih Berikutnya untuk melanjutkan.

Konfigurasi jaringan menentukan bagaimana cluster Anda digunakan dalam infrastruktur Anda AWS . Ini termasuk VPC, Availability Zones dan subnet, dan grup keamanan yang mengontrol jaringan, ketersediaan, dan akses.

  1. Untuk Networking, lakukan hal berikut:

    1. Pilih VPC yang ingin Anda gunakan untuk cluster.

    2. Berdasarkan jumlah Availability Zone yang Anda pilih sebelumnya, tentukan Availability Zone dan subnet tempat broker akan menggunakan.

      Untuk pialang Standar di Wilayah AS Barat (California Utara), Anda memerlukan dua subnet di dua Availability Zone yang berbeda. Di semua Wilayah lain di mana Amazon MSK tersedia, Anda dapat menentukan dua atau tiga subnet. Subnet Anda semua harus berada di Availability Zone yang berbeda.

      Untuk broker Express, Anda memerlukan tiga subnet di tiga Availability Zone yang berbeda.

      Saat Anda membuat klaster MSK Provisioned, MSK mendistribusikan node broker secara merata di atas subnet yang Anda tentukan.

    3. Untuk grup Keamanan di Amazon EC2, pilih atau buat satu atau beberapa grup keamanan yang ingin Anda berikan akses ke klaster Anda. Grup EC2 keamanan Amazon ini mengontrol lalu lintas masuk dan keluar ke broker Anda. Misalnya, kelompok keamanan mesin klien.

      Jika Anda menentukan grup keamanan yang dibagikan dengan Anda, Anda harus memastikan bahwa Anda memiliki izin untuk menggunakannya. Secara khusus, Anda memerlukan izin ec2:DescribeSecurityGroups. Untuk informasi selengkapnya, lihat Menghubungkan ke klaster MSK.

  2. Pilih Berikutnya untuk melanjutkan.

  1. Di bagian Pengaturan keamanan, lakukan hal berikut:

    1. Pilih satu atau beberapa metode otentikasi dan otorisasi berikut untuk mengontrol akses klien ke cluster Kafka Anda:

      • Akses tidak diautentikasi: Memungkinkan klien mengakses klaster tanpa memberikan kredensyal otentikasi apa pun. Metode ini merupakan risiko keamanan dan mungkin tidak mematuhi praktik terbaik keamanan. Untuk informasi selengkapnya, lihat msk-unrestricted-access-check.

      • Autentikasi berbasis peran IAM: Mengaktifkan otentikasi dan otorisasi klien menggunakan pengguna/peran IAM. AWS Metode ini memberikan kontrol halus atas akses klaster melalui kebijakan IAM. Kami merekomendasikan metode ini untuk aplikasi yang sudah berjalan di AWS.

      • Otentikasi SASL/SCRAM: Membutuhkan klien untuk memberikan kredensyal nama pengguna dan kata sandi yang disimpan untuk otentikasi. AWS Secrets Manager Amazon MSK mengambil kredensyal ini dari Secrets Manager dan mengautentikasi pengguna dengan aman.

        Untuk menyiapkan kredensyal masuk terkait autentikasi untuk klaster, pertama-tama buat sumber daya Rahasia di Secrets Manager. Kemudian, kaitkan kredenal masuk dengan rahasia itu. Untuk informasi selengkapnya tentang metode kontrol akses ini, lihatMenyiapkan SASL/SCRAM otentikasi untuk kluster MSK Amazon.

      • Otentikasi klien TLS melalui AWS Certificate Manager (ACM): Memungkinkan otentikasi timbal balik antara klien dan broker menggunakan sertifikat digital. Anda harus mengkonfigurasi AWS Private Certificate Authority (AWS Private CA) baik dalam hal yang sama atau berbeda Akun AWS dengan cluster Anda.

        Kami sangat menyarankan menggunakan AWS Private CA s independen untuk setiap cluster MSK saat menerapkan mTL. Hal ini memastikan bahwa sertifikat TLS ditandatangani PCAs hanya dengan otentikasi dengan kluster MSK tunggal, sehingga mempertahankan kontrol akses yang ketat.

  2. Di Enkripsi, pilih jenis kunci KMS yang ingin Anda gunakan untuk mengenkripsi data saat istirahat. Untuk informasi selengkapnya, lihat Enkripsi MSK Amazon saat istirahat.

    Mengenkripsi data saat istirahat melindungi integritas data yang tersimpan, sementara enkripsi dalam perjalanan melindungi kerahasiaan data dari pemantauan jaringan selama transfer.

  3. Pilih Berikutnya untuk melanjutkan.

Prosedur ini menjelaskan cara mengatur metrik broker Anda, dan mengumpulkan dan mengirimkan log broker. Dengan pengaturan ini, Anda dapat mengamati dan menganalisis masalah kesehatan, kinerja, dan pemecahan masalah klaster Anda. Untuk informasi selengkapnya, lihat Memantau kluster Amazon MSK Provisioned.

  1. Untuk CloudWatch metrik Amazon untuk klaster ini, pilih salah satu tingkat pemantauan berikut. Metrik yang dikumpulkan pada setiap tingkat pemantauan terintegrasi CloudWatch untuk visualisasi dan peringatan.

    1. Pemantauan dasar: Menyediakan satu set metrik tingkat cluster penting tanpa biaya tambahan. Level ini bagus untuk sebagian besar kasus penggunaan dengan kebutuhan pemantauan umum.

    2. Pemantauan tingkat broker yang ditingkatkan: Menyediakan metrik broker terperinci dengan biaya tambahan. Tingkat ini mencakup pemantauan dasar dan metrik broker yang lebih terperinci, seperti byte metrik penyimpanan berjenjang dari broker lain, in/out total waktu untuk operasi. read/write Anda membayar untuk metrik di level ini, sedangkan metrik tingkat dasar tetap gratis.

    3. Pemantauan tingkat topik yang ditingkatkan: Menyediakan metrik untuk masing-masing topik dengan biaya tambahan. Pilih level ini untuk mendapatkan tampilan yang lebih terperinci tentang kinerja topik di seluruh broker. Level ini mencakup peningkatan pemantauan tingkat broker dan metrik tingkat topik, seperti metrik penyimpanan berjenjang untuk topik tertentu dan jumlah pesan yang diterima per detik.

    4. Pemantauan tingkat partisi yang ditingkatkan: Memberikan tampilan metrik per partisi yang paling terperinci dengan biaya tambahan. Pilih level ini untuk mendapatkan pemantauan paling rinci dengan menangkap metrik untuk setiap partisi dalam setiap topik di seluruh broker. Level ini mencakup pemantauan tingkat topik yang disempurnakan dan metrik spesifik partisi berbutir halus, seperti metrik lag offset.

    Untuk informasi lebih lanjut tentang metrik yang tersedia untuk jenis broker Standard dan Express di masing-masing level pemantauan ini, lihat CloudWatch metrik untuk pialang Standar danCloudWatch metrik untuk broker Express.

  2. (Opsional) Jika Anda ingin mengekspor metrik dalam format Prometheus menggunakan JMX Exporter, Node Exporter, atau keduanya, pilih Aktifkan pemantauan terbuka dengan Prometheus. Untuk informasi selengkapnya tentang metrik ini, lihat Monitor dengan Prometheus.

  3. (Opsional) Untuk mengonfigurasi klaster MSK Anda untuk mengirimkan log broker ke berbagai Layanan AWS untuk pemecahan masalah dan audit, pilih satu atau beberapa opsi berikut. Amazon MSK tidak membuat sumber daya tujuan ini untuk Anda jika belum ada. Untuk informasi selengkapnya, lihat Log broker.

    • Kirim ke CloudWatch Log Amazon: Mengirim log CloudWatch dengan kemampuan pengelompokan, pencarian, dan visualisasi. Anda dapat menanyakan dan menganalisis log tanpa meninggalkan file AWS Management Console.

    • Kirim ke Amazon S3: Menyimpan log sebagai file di bucket Amazon S3 untuk pengarsipan jangka panjang dan analisis batch.

    • Kirim ke Amazon Data Firehose: Kirim log ke Firehose untuk pengiriman otomatis ke Amazon OpenSearch Service untuk pemecahan masalah waktu nyata.

  4. (Opsional) Untuk membantu mengidentifikasi, mengatur, atau mencari klaster Anda, pilih Tambahkan tag baru untuk menambahkan tag sebagai pasangan nilai kunci. Misalnya, tambahkan tag ke cluster Anda dengan pasangan kunci-nilai danLoad testing. Test

    Untuk informasi selengkapnya tentang penggunaan tag di kluster Anda, lihatMenandai kluster MSK Amazon.

  5. Pilih Berikutnya untuk melanjutkan.

  1. Tinjau pengaturan untuk cluster Anda.

    Pilih Edit atau Sebelumnya untuk mengubah pengaturan apa pun yang Anda tentukan sebelumnya atau kembali ke layar konsol sebelumnya.

  2. Pilih Buat klaster.

  3. Periksa status klaster ini di bagian ringkasan Cluster pada halaman detail Cluster. Status berubah dari Creating menjadi Active karena Amazon MSK menyediakan klaster. Ketika statusnya Aktif, Anda dapat terhubung ke cluster. Untuk informasi selengkapnya tentang status klaster, lihatMemahami status cluster MSK Provisioned.