Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Memahami pekerja MSK Connect
Seorang pekerja adalah proses mesin virtual Java (JVM) yang menjalankan logika konektor. Setiap pekerja membuat serangkaian tugas yang berjalan di thread paralel dan melakukan pekerjaan menyalin data. Tugas tidak menyimpan status, dan karenanya dapat dimulai, dihentikan, atau dimulai ulang kapan saja untuk menyediakan pipeline data yang tangguh dan dapat diskalakan. Perubahan jumlah pekerja, baik karena peristiwa penskalaan atau karena kegagalan yang tidak terduga, secara otomatis terdeteksi oleh pekerja yang tersisa. Mereka berkoordinasi untuk menyeimbangkan kembali tugas di seluruh set pekerja yang tersisa. Connect workers menggunakan kelompok konsumen Apache Kafka untuk berkoordinasi dan menyeimbangkan kembali.
Jika persyaratan kapasitas konektor Anda bervariasi atau sulit diperkirakan, Anda dapat membiarkan MSK Connect menskalakan jumlah pekerja sesuai kebutuhan antara batas bawah dan batas atas yang Anda tentukan. Atau, Anda dapat menentukan jumlah pasti pekerja yang ingin Anda jalankan logika konektor Anda. Untuk informasi selengkapnya, lihat [Memahami kapasitas konektor](msk-connect-capacity.md).
**Pekerja MSK Connect menggunakan alamat IP**
Pekerja MSK Connect menggunakan alamat IP di subnet yang disediakan pelanggan. Setiap pekerja menggunakan satu alamat IP dari salah satu subnet yang disediakan pelanggan. Anda harus memastikan bahwa Anda memiliki cukup alamat IP yang tersedia di subnet yang disediakan untuk CreateConnector permintaan untuk memperhitungkan kapasitas yang ditentukan, terutama ketika konektor penskalaan otomatis di mana jumlah pekerja dapat berfluktuasi.
## Konfigurasi pekerja default
MSK Connect menyediakan konfigurasi pekerja default berikut:
```
key.converter=org.apache.kafka.connect.storage.StringConverter
value.converter=org.apache.kafka.connect.storage.StringConverter
```
# Properti konfigurasi pekerja yang didukung
MSK Connect menyediakan konfigurasi pekerja default. Anda juga memiliki opsi untuk membuat konfigurasi pekerja khusus untuk digunakan dengan konektor Anda. Daftar berikut mencakup informasi tentang properti konfigurasi pekerja yang didukung atau tidak didukung Amazon MSK Connect.
+ `value.converter`Properti `key.converter` dan diperlukan.
+ MSK Connect mendukung properti `producer.` konfigurasi berikut.
```
producer.acks
producer.batch.size
producer.buffer.memory
producer.compression.type
producer.enable.idempotence
producer.key.serializer
producer.linger.ms
producer.max.request.size
producer.metadata.max.age.ms
producer.metadata.max.idle.ms
producer.partitioner.class
producer.reconnect.backoff.max.ms
producer.reconnect.backoff.ms
producer.request.timeout.ms
producer.retry.backoff.ms
producer.value.serializer
```
+ MSK Connect mendukung properti `consumer.` konfigurasi berikut.
```
consumer.allow.auto.create.topics
consumer.auto.offset.reset
consumer.check.crcs
consumer.fetch.max.bytes
consumer.fetch.max.wait.ms
consumer.fetch.min.bytes
consumer.heartbeat.interval.ms
consumer.key.deserializer
consumer.max.partition.fetch.bytes
consumer.max.poll.interval.ms
consumer.max.poll.records
consumer.metadata.max.age.ms
consumer.partition.assignment.strategy
consumer.reconnect.backoff.max.ms
consumer.reconnect.backoff.ms
consumer.request.timeout.ms
consumer.retry.backoff.ms
consumer.session.timeout.ms
consumer.value.deserializer
```
+ Semua properti konfigurasi lain yang tidak dimulai dengan `consumer.` awalan `producer.` atau didukung *kecuali* untuk properti berikut.
```
access.control.
admin.
admin.listeners.https.
client.
connect.
inter.worker.
internal.
listeners.https.
metrics.
metrics.context.
rest.
sasl.
security.
socket.
ssl.
topic.tracking.
worker.
bootstrap.servers
config.storage.topic
connections.max.idle.ms
connector.client.config.override.policy
group.id
listeners
metric.reporters
plugin.path
receive.buffer.bytes
response.http.headers.config
scheduled.rebalance.max.delay.ms
send.buffer.bytes
status.storage.topic
```
Untuk informasi selengkapnya tentang properti konfigurasi pekerja dan apa yang diwakilinya, lihat Konfigurasi [Kafka Connect di dokumentasi](https://kafka.apache.org/documentation/#connectconfigs) Apache Kafka.
# Buat konfigurasi pekerja khusus
Prosedur ini menjelaskan cara membuat konfigurasi pekerja khusus menggunakan Konsol Manajemen AWS.
**Membuat konfigurasi pekerja khusus menggunakan Konsol Manajemen AWS**
1. Buka konsol MSK Amazon di[https://console.aws.amazon.com/msk/](https://console.aws.amazon.com/msk/).
1. Di panel kiri, di bawah **MSK Connect**, pilih konfigurasi **Worker**.
1. Pilih **Buat konfigurasi pekerja**.
1. Masukkan nama dan deskripsi opsional, lalu tambahkan properti dan nilai yang ingin Anda atur.
1. Pilih **Buat konfigurasi pekerja**.
Untuk menggunakan MSK Connect API untuk membuat konfigurasi pekerja, lihat [CreateWorkerConfiguration](https://docs.aws.amazon.com/MSKC/latest/mskc/API_CreateWorkerConfiguration.html).
# Kelola offset konektor sumber menggunakan `offset.storage.topic`
Bagian ini memberikan informasi untuk membantu Anda mengelola offset konektor sumber menggunakan topik *penyimpanan offset*. Topik penyimpanan offset adalah topik internal yang digunakan Kafka Connect untuk menyimpan konektor dan offset konfigurasi tugas.
## Pertimbangan-pertimbangan
Pertimbangkan hal berikut ketika Anda mengelola offset konektor sumber.
+ Untuk menentukan topik penyimpanan offset, berikan nama topik Kafka tempat offset konektor disimpan sebagai nilai untuk konfigurasi pekerja `offset.storage.topic` Anda.
+ Berhati-hatilah saat Anda membuat perubahan pada konfigurasi konektor. Mengubah nilai konfigurasi dapat mengakibatkan perilaku konektor yang tidak diinginkan jika konektor sumber menggunakan nilai dari konfigurasi ke catatan offset kunci. Kami menyarankan Anda merujuk ke dokumentasi plugin Anda untuk panduan.
+ **Sesuaikan jumlah partisi default** — Selain menyesuaikan konfigurasi pekerja dengan menambahkan`offset.storage.topic`, Anda dapat menyesuaikan jumlah partisi untuk topik penyimpanan offset dan status. Partisi default untuk topik internal adalah sebagai berikut.
+ `config.storage.topic`: 1, tidak dapat dikonfigurasi, harus topik partisi tunggal
+ `offset.storage.topic`: 25, dapat dikonfigurasi dengan menyediakan `offset.storage.partitions`
+ `status.storage.topic`: 5, dapat dikonfigurasi dengan menyediakan `status.storage.partitions`
+ **Menghapus topik secara manual** - Amazon MSK Connect membuat topik internal Kafka connect baru (nama topik dimulai dengan`__amazon_msk_connect`) pada setiap penyebaran konektor. Topik lama yang dilampirkan ke konektor yang dihapus tidak dihapus secara otomatis karena topik internal, seperti`offset.storage.topic`, dapat digunakan kembali di antara konektor. Namun, Anda dapat secara manual menghapus topik internal yang tidak digunakan yang dibuat oleh MSK Connect. Topik internal diberi nama mengikuti format`__amazon_msk_connect__connector_name_connector_id`.
Ekspresi reguler `__amazon_msk_connect__connector_name_connector_id` dapat digunakan untuk menghapus topik internal. Anda tidak boleh menghapus topik internal yang saat ini digunakan oleh konektor yang sedang berjalan.
+ **Menggunakan nama yang sama untuk topik internal yang dibuat oleh MSK Connect** — Jika Anda ingin menggunakan kembali topik penyimpanan offset untuk menggunakan offset dari konektor yang dibuat sebelumnya, Anda harus memberikan konektor baru nama yang sama dengan konektor lama. `offset.storage.topic`Properti dapat diatur menggunakan konfigurasi pekerja untuk menetapkan nama yang sama ke `offset.storage.topic` dan digunakan kembali di antara konektor yang berbeda. Konfigurasi ini dijelaskan dalam [Mengelola offset konektor](https://docs.aws.amazon.com/msk/latest/developerguide/msk-connect-workers.html#msk-connect-create-custom-worker-config). MSK Connect tidak mengizinkan konektor yang berbeda untuk berbagi `config.storage.topic` dan`status.storage.topic`. Topik-topik tersebut dibuat setiap kali Anda membuat konektor baru di MSKC. Mereka secara otomatis dinamai mengikuti format`__amazon_msk_connect__connector_name_connector_id`, dan begitu juga berbeda di berbagai konektor yang Anda buat.
# Gunakan topik penyimpanan offset default
Secara default, Amazon MSK Connect menghasilkan topik penyimpanan offset baru di cluster Kafka Anda untuk setiap konektor yang Anda buat. MSK membangun nama topik default menggunakan bagian dari konektor ARN. Misalnya, `__amazon_msk_connect_offsets_my-mskc-connector_12345678-09e7-4abc-8be8-c657f7e4ff32-2`.
# Gunakan topik penyimpanan offset khusus
Untuk memberikan kontinuitas offset antara konektor sumber, Anda dapat menggunakan topik penyimpanan offset pilihan Anda alih-alih topik default. Menentukan topik penyimpanan offset membantu Anda menyelesaikan tugas seperti membuat konektor sumber yang melanjutkan pembacaan dari offset terakhir konektor sebelumnya.
Untuk menentukan topik penyimpanan offset, Anda memberikan nilai untuk `offset.storage.topic` properti dalam konfigurasi pekerja sebelum membuat konektor. Jika Anda ingin menggunakan kembali topik penyimpanan offset untuk menggunakan offset dari konektor yang dibuat sebelumnya, Anda harus memberi konektor baru nama yang sama dengan konektor lama. Jika Anda membuat topik penyimpanan offset kustom, Anda harus mengatur [https://kafka.apache.org/27/documentation.html#topicconfigs_cleanup.policy](https://kafka.apache.org/27/documentation.html#topicconfigs_cleanup.policy)ke `compact` dalam konfigurasi topik Anda.
**catatan**
Jika Anda menentukan topik penyimpanan offset saat membuat konektor *sink*, MSK Connect akan membuat topik jika belum ada. Namun, topik tersebut tidak akan digunakan untuk menyimpan offset konektor.
Offset konektor sink malah dikelola menggunakan protokol grup konsumen Kafka. Setiap konektor wastafel membuat grup bernama`connect-{CONNECTOR_NAME}`. Selama grup konsumen ada, konektor wastafel berturut-turut yang Anda buat dengan `CONNECTOR_NAME` nilai yang sama akan berlanjut dari offset komitmen terakhir.
**penting**
Jika Anda ingin memperbarui konfigurasi konektor yang ada sambil mempertahankan kontinuitas offset, gunakan API. UpdateConnector Untuk informasi selengkapnya, lihat [Perbarui konektor](mkc-update-connector.md).
**Example : Menentukan topik penyimpanan offset saat membuat ulang konektor sumber**
Jika Anda perlu menghapus dan membuat ulang konektor sambil mempertahankan kontinuitas offset, Anda dapat menentukan topik penyimpanan offset dalam konfigurasi pekerja Anda. Misalnya, Anda memiliki konektor change data capture (CDC) dan Anda ingin membuatnya kembali tanpa kehilangan tempat Anda di aliran CDC. Langkah-langkah berikut menunjukkan bagaimana menyelesaikan tugas ini.
1. Pada mesin klien Anda, jalankan perintah berikut untuk menemukan nama topik penyimpanan offset konektor Anda. Ganti `` dengan string broker bootstrap cluster Anda. Untuk petunjuk tentang mendapatkan string broker bootstrap Anda, lihat[Dapatkan broker bootstrap untuk cluster MSK Amazon](msk-get-bootstrap-brokers.md).
```
/bin/kafka-topics.sh --list --bootstrap-server
```
Output berikut menunjukkan daftar semua topik cluster, termasuk topik konektor internal default. Dalam contoh ini, konektor CDC yang ada menggunakan [topik penyimpanan offset default](msk-connect-default-offset-storage-topic.md) yang dibuat oleh MSK Connect. Inilah sebabnya mengapa topik penyimpanan offset disebut`__amazon_msk_connect_offsets_my-mskc-connector_12345678-09e7-4abc-8be8-c657f7e4ff32-2`.
```
__consumer_offsets
__amazon_msk_canary
__amazon_msk_connect_configs_my-mskc-connector_12345678-09e7-4abc-8be8-c657f7e4ff32-2
__amazon_msk_connect_offsets_my-mskc-connector_12345678-09e7-4abc-8be8-c657f7e4ff32-2
__amazon_msk_connect_status_my-mskc-connector_12345678-09e7-4abc-8be8-c657f7e4ff32-2
my-msk-topic-1
my-msk-topic-2
```
1. Buka konsol MSK Amazon di [https://console.aws.amazon.com/msk/](https://console.aws.amazon.com/msk).
1. Pilih konektor Anda dari daftar **Konektor**. Salin dan simpan konten bidang **konfigurasi Konektor** sehingga Anda dapat memodifikasinya dan menggunakannya untuk membuat konektor baru.
1. Pilih **Hapus** untuk menghapus konektor. Kemudian masukkan nama konektor di bidang input teks untuk mengonfirmasi penghapusan.
1. Buat konfigurasi pekerja khusus dengan nilai yang sesuai dengan skenario Anda. Untuk petunjuk, lihat [Buat konfigurasi pekerja khusus](msk-connect-create-custom-worker-config.md).
Dalam konfigurasi pekerja Anda, Anda harus menentukan nama topik penyimpanan offset yang sebelumnya Anda ambil sebagai nilai untuk `offset.storage.topic` like dalam konfigurasi berikut.
```
config.providers.secretManager.param.aws.region=eu-west-3
key.converter=
value.converter=
config.providers.secretManager.class=com.github.jcustenborder.kafka.config.aws.SecretsManagerConfigProvider
config.providers=secretManager
offset.storage.topic=__amazon_msk_connect_offsets_my-mskc-connector_12345678-09e7-4abc-8be8-c657f7e4ff32-2
```
1.
**penting**
Anda harus memberikan konektor baru Anda nama yang sama dengan konektor lama.
Buat konektor baru menggunakan konfigurasi pekerja yang Anda atur di langkah sebelumnya. Untuk petunjuk, lihat [Buat konektor](mkc-create-connector-intro.md).