Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memecahkan masalah cluster Amazon MSK Anda

Informasi berikut dapat membantu Anda memecahkan masalah yang mungkin Anda miliki dengan cluster Amazon MSK Anda. Anda juga dapat memposting masalah Anda ke AWS re:Post. Untuk mengatasi masalah Amazon MSK Replicator, lihat. Memecahkan masalah Amazon MSK Replicator

Penggantian volume menyebabkan saturasi disk karena kelebihan replikasi

Selama kegagalan perangkat keras volume yang tidak direncanakan, Amazon MSK dapat mengganti volume dengan instance baru. Kafka mengisi kembali volume baru dengan mereplikasi partisi dari broker lain di cluster. Setelah partisi direplikasi dan ditangkap, mereka memenuhi syarat untuk keanggotaan kepemimpinan dan replika sinkronisasi (ISR).

Masalah

Dalam broker yang pulih dari penggantian volume, beberapa partisi dengan berbagai ukuran mungkin kembali online sebelum yang lain. Ini bisa menjadi masalah karena partisi tersebut dapat melayani lalu lintas dari broker yang sama yang masih mengejar (mereplikasi) partisi lain. Lalu lintas replikasi ini terkadang dapat memenuhi batas throughput volume yang mendasarinya, yaitu 250 MiB per detik dalam kasus default. Ketika saturasi ini terjadi, setiap partisi yang sudah tertangkap akan terpengaruh, menghasilkan latensi di seluruh cluster untuk setiap broker yang berbagi ISR dengan partisi yang terperangkap (bukan hanya partisi pemimpin karena remote acksacks=all). Masalah ini lebih umum dengan cluster yang lebih besar yang memiliki jumlah partisi yang lebih besar yang bervariasi ukurannya.

Kelompok konsumen terjebak dalam PreparingRebalance negara

Jika satu atau lebih grup konsumen Anda terjebak dalam status penyeimbangan ulang terus-menerus, penyebabnya mungkin masalah Apache Kafka KAFKA-9752, yang memengaruhi Apache Kafka versi 2.3.1 dan 2.4.1.

Untuk mengatasi masalah ini, kami sarankan Anda memutakhirkan cluster Anda keAmazon MSK perbaikan bug versi 2.4.1.1, yang berisi perbaikan untuk masalah ini. Untuk informasi tentang memperbarui cluster yang ada ke Amazon MSK bug-fix versi 2.4.1.1, lihat. Tingkatkan versi Apache Kafka

Solusi untuk menyelesaikan masalah ini tanpa memutakhirkan cluster ke Amazon MSK bug-fix versi 2.4.1.1 adalah dengan mengatur klien Kafka untuk digunakanProtokol keanggotaan statis, atau ke simpul broker koordinasi dari grup konsumen yang mac Identifikasi dan reboot et.

Menerapkan protokol keanggotaan statis

Untuk menerapkan Protokol Keanggotaan Statis di klien Anda, lakukan hal berikut:

Menggunakan Protokol Keanggotaan Statis lebih efektif jika batas waktu sesi dalam konfigurasi klien diatur ke durasi yang memungkinkan konsumen pulih tanpa memicu penyeimbangan ulang kelompok konsumen sebelum waktunya. Misalnya, jika aplikasi konsumen Anda dapat mentolerir 5 menit ketidaktersediaan, nilai yang wajar untuk batas waktu sesi adalah 4 menit, bukan nilai default 10 detik.

Mem-boot ulang simpul broker koordinasi

Untuk me-reboot node broker koordinasi, lakukan hal berikut:

Kesalahan saat mengirimkan log broker ke Amazon CloudWatch Logs

Saat Anda mencoba mengatur cluster Anda untuk mengirim log broker ke Amazon CloudWatch Logs, Anda mungkin mendapatkan salah satu dari dua pengecualian.

Jika Anda mendapatkan peng InvalidInput.LengthOfCloudWatchResourcePolicyLimitExceeded ecualian, coba lagi tetapi gunakan grup log yang dimulai dengan/aws/vendedlogs/. Untuk informasi selengkapnya, lihat Meng aktifkan Pencatatan dari Layanan Web Amazon Tertentu.

Jika Anda mendapatkan InvalidInput.NumberOfCloudWatchResourcePoliciesLimitExceeded pengecualian, pilih kebijakan Amazon CloudWatch Logs yang ada di akun Anda, dan tambahkan JSON berikut ke dalamnya.

{"Sid":"AWSLogDeliveryWrite","Effect":"Allow","Principal":{"Service":"delivery.logs.amazonaws.com"},"Action":["logs:CreateLogStream","logs:PutLogEvents"],"Resource":["*"]}

Jika Anda mencoba menambahkan JSON di atas ke kebijakan yang ada tetapi mendapatkan kesalahan yang mengatakan Anda telah mencapai panjang maksimum untuk kebijakan yang Anda pilih, coba tambahkan JSON ke salah satu kebijakan Amazon CloudWatch Logs Anda yang lain. Setelah menambahkan JSON ke kebijakan yang ada, coba sekali lagi untuk mengatur pengiriman log broker ke Amazon Logs. CloudWatch

Tidak ada grup keamanan default

Jika Anda mencoba membuat cluster dan mendapatkan kesalahan yang menunjukkan bahwa tidak ada grup keamanan default, itu mungkin karena Anda menggunakan VPC yang dibagikan dengan Anda. Minta administrator Anda untuk memberi Anda izin untuk menjelaskan grup keamanan pada VPC ini dan coba lagi. Untuk contoh kebijakan yang mengizinkan tindakan ini, lihat Amazon EC2: Memungkinkan Mengelola Grup Keamanan EC2 yang Terkait Dengan VPC Tertentu, Secara Terprogram dan di Konsol.

Cluster tampak macet dalam status CREATING

Terkadang pembuatan cluster bisa memakan waktu hingga 30 menit. Tunggu selama 30 menit dan periksa kembali keadaan cluster.

Status cluster berubah dari CREATING menjadi FAILED

Coba buat cluster lagi.

Status cluster AKTIF tetapi produsen tidak dapat mengirim data atau konsumen tidak dapat menerima data

AWS CLI tidak mengenali Amazon MSK

Jika Anda telah AWS CLI menginstal, tetapi tidak mengenali perintah Amazon MSK, tingkatkan Anda AWS CLI ke versi terbaru. Untuk petunjuk terperinci tentang cara memutakhirkan AWS CLI, lihat Menginstal AWS Command Line Interface. Untuk informasi tentang cara menggunakan perintah AWS CLI untuk menjalankan Amazon MSK, lihatFitur dan konsep utama Amazon MSK.

Partisi menjadi offline atau replika tidak sinkron

Ini bisa menjadi gejala ruang disk yang rendah. Lihat Ruang disk hampir habis.

Ruang disk hampir habis

Lihat praktik terbaik berikut untuk mengelola ruang disk: Memantau ruang disk danSesuaikan parameter retensi data.

Memori hampir habis

Jika Anda melihat MemoryUsed metrik sedang tinggi MemoryFree atau hampir rendah, itu tidak berarti ada masalah. Apache Kafka dirancang untuk menggunakan memori sebanyak mungkin, dan mengelolanya secara optimal.

Produser mendapat NotLeaderForPartitionException

Ini sering merupakan kesalahan sementara. Tetapkan parameter retries konfigurasi produsen ke nilai yang lebih tinggi dari nilai saat ini.

Under-replicated Partisi (URP) lebih besar dari nol

Met UnderReplicatedPartitions rik adalah yang penting untuk dipantau. Dalam cluster MSK yang sehat, metrik ini memiliki nilai 0. Jika lebih besar dari nol, itu mungkin karena salah satu alasan berikut.

Cluster memiliki topik yang disebut __amazon_msk_canary dan __amazon_msk_canary_state

Anda mungkin melihat bahwa cluster MSK Anda memiliki topik dengan nama __amazon_msk_canary dan satu lagi dengan nama__amazon_msk_canary_state. Ini adalah topik internal yang dibuat dan digunakan Amazon MSK untuk metrik kesehatan dan diagnostik cluster. Topik ini berukuran dapat diabaikan dan tidak dapat dihapus.

Replikasi partisi gagal

Pastikan Anda belum menyetel ACL pada CLUSTER_ACTIONS.

Tidak dapat mengakses cluster yang mengaktifkan akses publik

Jika cluster Anda mengaktifkan akses publik, tetapi Anda masih tidak dapat mengaksesnya dari internet, ikuti langkah-langkah berikut:

Tidak dapat mengakses cluster melalui bootstrap IPv6

Jika Anda mengalami kesulitan menyambungkan ke cluster menggunakan string bootstrap IPv6 yang disediakan, ikuti langkah-langkah berikut:

Tidak dapat mengakses cluster dari dalam AWS: Masalah jaringan

Jika Anda memiliki aplikasi Apache Kafka yang tidak dapat berkomunikasi dengan sukses dengan cluster MSK, mulailah dengan melakukan tes konektivitas berikut.

Jika mesin klien dapat mengakses broker, ini berarti tidak ada masalah konektivitas. Dalam hal ini, jalankan perintah berikut untuk memeriksa apakah klien Apache Kafka Anda diatur dengan benar. Untuk mendap bootstrap-brokers atkannya, gunakan salah satu metode yang dijelaskan diDapatkan broker bootstrap untuk cluster Amazon MSK. Ganti topic dengan nama topik Anda.

<path-to-your-kafka-installation>/bin/kafka-console-producer.sh --broker-list bootstrap-brokers --producer.config client.properties --topic topic

Jika perintah sebelumnya berhasil, ini berarti klien Anda diatur dengan benar. Jika Anda masih tidak dapat memproduksi dan mengkonsumsi dari aplikasi, debug masalah di tingkat aplikasi.

Jika mesin klien tidak dapat mengakses broker, lihat subbagian berikut untuk panduan yang didasarkan pada pengaturan klien-mesin Anda.

Klien Amazon EC2 dan cluster MSK dalam VPC yang sama

Jika mesin klien berada di VPC yang sama dengan cluster MSK, pastikan grup keamanan cluster memiliki aturan masuk yang menerima lalu lintas dari grup keamanan mesin klien. Untuk informasi tentang pengaturan aturan ini, lihat A turan Grup Keamanan. Untuk contoh cara mengakses cluster dari instans Amazon EC2 yang berada di VPC yang sama dengan cluster, lihat. Mulai menggunakan Amazon MSK

Klien Amazon EC2 dan cluster MSK di VPC yang berbeda

Jika mesin klien dan cluster berada di dua VPC yang berbeda, pastikan hal berikut:

Untuk informasi tentang peering VPC, lihat Bek erja dengan Koneksi Peering VPC.

On-premises Klien

Dalam kasus klien lokal yang diatur untuk terhubung ke cluster MSK menggunakan Site-to-Site VPN, pastikan hal berikut:

Untuk panduan pemec Site-to-Site VPN ahan masalah lebih lanjut, lihat Mem ecahkan Masalah VPN Klien.

Direct Connect

Jika klien menggunakan Direct Connect, lihat Pemecahan Masalah Direct Connect.

Jika panduan pemecahan masalah sebelumnya tidak menyelesaikan masalah, pastikan tidak ada firewall yang memblokir lalu lintas jaringan. Untuk debugging lebih lanjut, gunakan alat seperti tcpdump dan Wireshark untuk menganalisis lalu lintas dan untuk memastikan bahwa itu mencapai cluster MSK.

Otentikasi gagal: Terlalu banyak koneksi

Kes Failed authentication ... Too many connects alahan menunjukkan bahwa broker melindungi dirinya sendiri karena satu atau lebih klien IAM mencoba terhubung dengannya pada tingkat yang agresif. Untuk membantu broker menerima tingkat koneksi IAM baru yang lebih tinggi, Anda dapat meningkatkan parameter reconnect.backoff.ms konfigurasi.

Untuk mempelajari lebih lanjut tentang batas tarif untuk koneksi baru per broker, lihat Kuota Amazon MSK halaman.

Otentikasi gagal: Sesi terlalu singkat

Kes Failed authentication ... Session too short alahan terjadi ketika klien Anda mencoba menyambung ke cluster menggunakan kredentif IAM yang akan kedaluwarsa. Pastikan Anda memeriksa bagaimana kredensi IAM Anda diperbarui. Kemungkinan besar, kredenSIAL diganti terlalu dekat dengan kedaluwarsa sesi yang menyebabkan masalah di sisi server, dan kegagalan otentikasi.

MSK Serverless: Pembuatan cluster gagal

Jika Anda mencoba membuat cluster Tanpa Server MSK dan alur kerja gagal, Anda mungkin tidak memiliki izin untuk membuat titik akhir VPC. Pastikan administrator telah memberi Anda izin untuk membuat titik akhir VPC dengan mengizinkan ec2:CreateVpcEndpoint tindakan tersebut.

Untuk daftar lengkap izin yang diperlukan untuk melakukan semua tindakan Amazon MSK, lihatAWS kebijakan yang dikelola: AmazonMSKFullAccess.

Tidak dapat memperbarui KafkaVersionsList dalam konfigurasi MSK

Saat Anda memperbarui KafkaVersionsList properti di sumber daya AWS: :MSK: :Configuration, pembaruan gagal dengan kesalahan berikut.

Resource of type 'AWS::MSK::Configuration' with identifier '<identifierName>' already exists.

Saat Anda memperbarui KafkaVersionsList properti, AWS CloudFormation buat ulang konfigurasi baru dengan properti yang diperbarui sebelum menghapus konfigurasi lama. Pem CloudFormation baruan tumpukan gagal karena konfigurasi baru menggunakan nama yang sama dengan konfigurasi yang ada. Pembaruan semacam itu membutuhkan penggantian sumber daya. Agar berhasil memperbaruiKafkaVersionsList, Anda juga harus memperbarui properti Nama dalam operasi yang sama.

Selain itu, jika konfigurasi Anda dilampirkan dengan cluster apa pun yang dibuat menggunakan Konsol Manajemen AWS atau AWS CLI, tambahkan yang berikut ini ke sumber daya konfigurasi Anda untuk mencegah upaya penghapusan sumber daya yang gagal.

UpdateReplacePolicy: Retain

Setelah pembaruan berhasil, buka konsol Amazon MSK dan hapus konfigurasi lama. Untuk informasi tentang konfigurasi MSK, lihatKonfigurasi Amazon MSK yang disediakan.

Kesalahan konfigurasi nama domain khusus

Saat Anda membuat atau menerapkan konfigurasi yang mencakupcustom.advertised.listeners, Anda mungkin mengalami kesalahan berikut. Untuk informasi selengkapnya tentang mengonfigurasi nama domain khusus, lihatKonfigurasikan nama domain khusus untuk cluster Amazon MSK Anda.

Format tidak valid

API mengembalikan kesalahan HTTP 400 dengan invalidParameter=serverproperties dan pesan berikut.

Invalid custom.advertised.listeners format. Expected: LISTENER_NAME://host:port+{broker_id} (comma-separated for multiple).

Nilai yang Anda berikan custom.advertised.listeners tidak mengikuti format yang diperlukan. Perbaiki sehingga menggunakan polaLISTENER_NAME://hostname:port+{broker_id}, pastikan bahwa variabel {broker_id} template muncul di port sehingga setiap broker menyelesaikan ke alamat unik, dan pisahkan beberapa pendengar dengan koma. Kemudian kirim kembali konfigurasi yang dikoreksi menggunakan UpdateClusterConfiguration.

Pendengar tidak terikat pada cluster

API mengembalikan kesalahan HTTP 400 dengan invalidParameter=configurationInfo dan pesan berikut.

Custom advertised listener(s) [CLIENT_SECURE] are not bound on this cluster. Valid client listeners: [CLIENT_IAM]. A broker cannot advertise a listener it does not bind.

Listener yang Anda tentukan tidak aktif di cluster Anda. Kesalahan ini terjadi selamaUpdateClusterConfiguration, bukan selamaCreateConfiguration. Seorang broker hanya dapat mengiklankan pendengar yang benar-benar mengikatnya. Perbarui custom.advertised.listeners nilai Anda untuk mereferensikan salah satu pendengar klien yang valid yang dicantumkan pesan kesalahan untuk cluster Anda (misalnya,CLIENT_IAM). Jika pendengar belum diaktifkan pada cluster (misalnya,CLIENT_SECURE), aktifkan autentikasi atau jenis pendengar itu terlebih dahulu. Kemudian terapkan kembali konfigurasi menggunakanUpdateClusterConfiguration.

Proses pembaruan gagal

Tinjau custom.advertised.listeners nilai Anda untuk masalah seperti konflik port atau nama host yang tidak dapat diselesaikan, perbaiki konfigurasi, dan terapkan kembali menggunakan. UpdateClusterConfiguration

Jika kegagalan mengikuti operasi penskalaan, tambahkan pendengar Network Load Balancer yang sesuai, grup target, dan catatan DNS untuk broker baru mana pun. Konfirmasikan bahwa semua klien dapat menyelesaikan nama domain khusus. Anda juga dapat memutar kembali ke konfigurasi kerja sebelumnya dengan menerapkan konfigurasi lama.