View a markdown version of this page

Memecahkan masalah di Amazon MSK Connect - Amazon Managed Streaming untuk Apache Kafka

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memecahkan masalah di Amazon MSK Connect

Informasi berikut dapat membantu Anda memecahkan masalah yang mungkin Anda alami saat menggunakan MSK Connect. Anda juga dapat memposting masalah Anda ke AWS re:Post.

Konektor tidak dapat mengakses sumber daya yang dihosting di internet publik

Lihat Mengaktifkan akses internet untuk Amazon MSK Connect.

Jumlah tugas yang sedang berjalan di konektor tidak sama dengan jumlah tugas yang ditentukan di tasks.max

Berikut adalah beberapa alasan konektor dapat menggunakan lebih sedikit tugas daripada konfigurasi tasks.max yang ditentukan:

  • Beberapa implementasi konektor membatasi jumlah tugas yang dapat digunakan. Misalnya, konektor Debezium untuk MySQL terbatas untuk menggunakan satu tugas.

  • Saat menggunakan mode kapasitas yang diskalakan otomatis, Amazon MSK Connect mengganti properti tasks.max konektor dengan nilai yang sebanding dengan jumlah pekerja yang berjalan di konektor dan jumlah MCU per pekerja. Jika Anda telah mengonfigurasi maxAutoscalingTaskCount parameter opsional, tasks.max nilainya tidak akan melebihi batas ini. Untuk informasi selengkapnya, lihat Mem ahami jumlah tugas penskalaan otomatis maksimum.

  • Untuk konektor wastafel, tingkat paralelisme (jumlah tugas) tidak boleh lebih dari jumlah partisi topik. Meskipun Anda dapat mengatur tasks.max lebih besar dari itu, satu partisi tidak pernah diproses oleh lebih dari satu tugas pada satu waktu.

  • Di Kafka Connect 2.7.x, penugasan partisi konsumen default adalah. RangeAssignor Perilaku penugasan ini adalah memberikan partisi pertama dari setiap topik kepada satu konsumen, partisi kedua dari setiap topik ke satu konsumen, dll. Ini berarti bahwa jumlah maksimum tugas aktif untuk konektor wastafel yang RangeAssignor digunakan sama dengan jumlah maksimum partisi dalam topik tunggal yang dikonsumsi. Jika ini tidak berhasil untuk kasus penggunaan Anda, Anda harus membuat Konfigurasi Pekerja di mana consumer.partition.assignment.strategy properti disetel ke pemberi partisi konsumen yang lebih sesuai. Lihat Antar muka Kafka 2.7 ConsumerPartitionAssignor: Semua Kelas Penerapan yang Diketahui.

Operasi restart konektor mencapai status RESTART_FAILED

Jika operasi restart mencapai RESTART_FAILED status, coba hal berikut untuk menyelesaikan masalah:

  • Periksa errorInfo bidang dalam tang DescribeConnectorOperation gapan untuk detailnya.

  • Tinjau log konektor dari CloudWatch, Amazon S3, atau Firehose untuk mengetahui pesan kesalahan yang menunjukkan mengapa tugas tidak dapat menyelesaikan startup.

  • Periksa apakah tugas konektor diblokir oleh dependensi eksternal (database, titik akhir jaringan, atau sistem lain yang berinteraksi dengan konektor).

  • Pastikan kluster Kafka konektor dapat dijangkau dan sehat.

Tidak dapat memulai ulang konektor - 400 BadRequestException

Berikut adalah beberapa alasan mengapa Anda mungkin tidak dapat me-restart konektor:

  • Konektor tidak dalam RUNNING keadaan (misalnya, ituCREATING,UPDATING, atauDELETING).

  • Operasi siklus hidup lain sudah berlangsung pada konektor.

  • Anda menentukan --only-failed-tasks pada konektor menggunakan versi Amazon MSK lebih awal dari 3.7 (fitur ini memerlukan versi 3.7 atau yang lebih baru).

  • Konektor dibuat sebelum kemampuan restart tersedia. Fitur ini saat ini hanya didukung untuk konektor yang baru dibuat.