Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich. # MSK Connect-Mitarbeiter verstehen Ein Worker ist ein virtueller Java-Maschine (JVM)-Prozess, der die Konnektor-Logik betreibt. Jeder Worker erstellt eine Reihe von Aufgaben, die in parallelen Threads ausgeführt werden und das Kopieren der Daten übernehmen. Aufgaben speichern keinen Status und können daher jederzeit gestartet, gestoppt oder neu gestartet werden, um eine stabile und skalierbare Datenpipeline bereitzustellen. Änderungen an der Anzahl der Worker, unabhängig davon, ob sie auf ein Skalierungsereignis oder auf unerwartete Ausfälle zurückzuführen sind, werden von den verbleibenden Workern automatisch erkannt. Sie koordinieren, um die Aufgaben auf die Gruppe der verbleibenden Worker neu auszurichten. Connect-Worker nutzen die Verbrauchergruppen von Apache Kafka, um sich zu koordinieren und das Gleichgewicht wiederherzustellen. Wenn die Kapazitätsanforderungen Ihres Konnektors variabel oder schwer abzuschätzen sind, können Sie MSK Connect die Anzahl der Worker nach Bedarf zwischen einer von Ihnen angegebenen Untergrenze und einer Obergrenze skalieren lassen. Sie können auch die genaue Anzahl von Workern angeben, die die Konnektor-Logik betreiben sollen. Weitere Informationen finden Sie unter [Verstehen Sie die Kapazität der Steckverbinder](msk-connect-capacity.md). **MSK Connect-Mitarbeiter verbrauchen IP-Adressen** MSK Connect-Mitarbeiter verwenden IP-Adressen in den vom Kunden bereitgestellten Subnetzen. Jeder Mitarbeiter verwendet eine IP-Adresse aus einem der vom Kunden bereitgestellten Subnetze. Sie sollten sicherstellen, dass in den Subnetzen, die für eine CreateConnector Anfrage bereitgestellt werden, genügend IP-Adressen verfügbar sind, um deren angegebene Kapazität zu berücksichtigen, insbesondere bei der automatischen Skalierung von Connectoren, bei denen die Anzahl der Worker schwanken kann. ## Standard-Worker-Konfiguration MSK Connect bietet die folgende Standard-Worker-Konfiguration: ``` key.converter=org.apache.kafka.connect.storage.StringConverter value.converter=org.apache.kafka.connect.storage.StringConverter ``` # Unterstützte Worker-Konfigurationseigenschaften MSK Connect bietet eine Standard-Worker-Konfiguration. Sie haben auch die Möglichkeit, eine benutzerdefinierte Worker-Konfiguration zur Verwendung mit Ihren Konnektoren zu erstellen. Die folgende Liste enthält Informationen zu den Worker-Konfigurationseigenschaften, die Amazon MSK Connect unterstützt oder nicht unterstützt. + Es werden die Eigenschaften `key.converter` und `value.converter` benötigt. + MSK Connect unterstützt die folgenden `producer.`-Konfigurationseigenschaften. ``` producer.acks producer.batch.size producer.buffer.memory producer.compression.type producer.enable.idempotence producer.key.serializer producer.linger.ms producer.max.request.size producer.metadata.max.age.ms producer.metadata.max.idle.ms producer.partitioner.class producer.reconnect.backoff.max.ms producer.reconnect.backoff.ms producer.request.timeout.ms producer.retry.backoff.ms producer.value.serializer ``` + MSK Connect unterstützt die folgenden `consumer.`-Konfigurationseigenschaften. ``` consumer.allow.auto.create.topics consumer.auto.offset.reset consumer.check.crcs consumer.fetch.max.bytes consumer.fetch.max.wait.ms consumer.fetch.min.bytes consumer.heartbeat.interval.ms consumer.key.deserializer consumer.max.partition.fetch.bytes consumer.max.poll.interval.ms consumer.max.poll.records consumer.metadata.max.age.ms consumer.partition.assignment.strategy consumer.reconnect.backoff.max.ms consumer.reconnect.backoff.ms consumer.request.timeout.ms consumer.retry.backoff.ms consumer.session.timeout.ms consumer.value.deserializer ``` + Alle anderen Konfigurationseigenschaften, die nicht mit den Präfixen `producer.` oder `consumer.` beginnen, werden unterstützt, mit *Ausnahme* der folgenden Eigenschaften. ``` access.control. admin. admin.listeners.https. client. connect. inter.worker. internal. listeners.https. metrics. metrics.context. rest. sasl. security. socket. ssl. topic.tracking. worker. bootstrap.servers config.storage.topic connections.max.idle.ms connector.client.config.override.policy group.id listeners metric.reporters plugin.path receive.buffer.bytes response.http.headers.config scheduled.rebalance.max.delay.ms send.buffer.bytes status.storage.topic ``` Weitere Informationen zu Worker-Konfigurationen und was sie bedeuten, finden Sie unter [Kafka Connect Configs](https://kafka.apache.org/documentation/#connectconfigs) in der Apache-Kafka-Dokumentation. # Erstellen Sie eine benutzerdefinierte Worker-Konfiguration Dieses Verfahren beschreibt, wie Sie eine benutzerdefinierte Worker-Konfiguration mit dem erstellen AWS-Managementkonsole. **Erstellen einer benutzerdefinierten Worker-Konfiguration mit dem AWS-Managementkonsole** 1. Öffnen Sie die Amazon-MSK-Konsole unter [https://console.aws.amazon.com/msk/](https://console.aws.amazon.com/msk/). 1. Wählen Sie im linken Bereich unter **MSK Connect** die Option **Worker-Konfigurationen**. 1. Wählen Sie **Worker-Konfiguration erstellen**. 1. Geben Sie einen Namen und eine optionale Beschreibung ein und fügen Sie dann die Eigenschaften und Werte hinzu, auf die Sie diese festlegen möchten. 1. Wählen Sie **Worker-Konfiguration erstellen**. Informationen zur Verwendung der MSK Connect-API zum Erstellen einer Worker-Konfiguration finden Sie unter [CreateWorkerConfiguration](https://docs.aws.amazon.com/MSKC/latest/mskc/API_CreateWorkerConfiguration.html). # Verwalten Sie die Offsets von Quellkonnektoren mit `offset.storage.topic` In diesem Abschnitt finden Sie Informationen zur Verwaltung von Quell-Konnektor-Offsets mithilfe des *Offset-Speicherthemas*. Das Offset-Speicherthema ist ein internes Thema, das Kafka Connect verwendet, um Offsets der Konnektor- und Aufgaben-Konfiguration zu speichern. ## Überlegungen Beachten Sie Folgendes, wenn Sie die Quell-Konnektor-Offsets verwalten. + Um ein Offset-Speicherthema anzugeben, geben Sie den Namen des Kafka-Themas, in dem Konnektor-Offsets gespeichert werden, als Wert für `offset.storage.topic` in Ihrer Worker-Konfiguration an. + Seien Sie vorsichtig, wenn Sie Änderungen an einer Konnektor-Konfiguration vornehmen. Das Ändern von Konfigurationswerten kann zu unbeabsichtigtem Verhalten des Konnektors führen, wenn ein Quell-Konnektor Werte aus der Konfiguration für wichtige Offset-Datensätze verwendet. Wir empfehlen Ihnen, in der Dokumentation Ihres Plugins nach Anleitungen zu suchen. + **Anpassen der Standardanzahl von Partitionen** – Sie können nicht nur die Worker-Konfiguration durch Hinzufügen von `offset.storage.topic` anpassen, sondern auch die Anzahl der Partitionen für die Offset- und Status-Speicherthemen anpassen. Die Standardpartitionen für interne Themen lauten wie folgt. + `config.storage.topic`: 1, nicht konfigurierbar, muss ein Thema mit einer einzigen Partition sein + `offset.storage.topic`: 25, konfigurierbar durch Bereitstellung von `offset.storage.partitions` + `status.storage.topic`: 5, konfigurierbar durch Bereitstellung von `status.storage.partitions` + **Manuelles Löschen von Themen** – Amazon MSK Connect erstellt bei jeder Bereitstellung von Konnektoren neue interne Kafka-Connect-Themen (der Themenname beginnt mit `__amazon_msk_connect`). Alte Themen, die an gelöschte Konnektoren angehängt sind, werden nicht automatisch entfernt, da interne Themen, wie z. B. `offset.storage.topic`, zwischen Konnektoren wiederverwendet werden können. Sie können jedoch nicht verwendete interne Themen, die von MSK Connect erstellt wurden, manuell löschen. Die internen Themen sind nach dem Format `__amazon_msk_connect__connector_name_connector_id` benannt. Der reguläre Ausdruck `__amazon_msk_connect__connector_name_connector_id` kann verwendet werden, um die internen Themen zu löschen. Sie sollten kein internes Thema löschen, das derzeit von einem laufenden Konnektor verwendet wird. + **Den selben Namen für die von MSK Connect erstellten internen Themen** – Wenn Sie das Offset-Speicherthema wiederverwenden möchten, um Offsets von einem zuvor erstellten Konnektor zu verwenden, müssen Sie dem neuen Konnektor denselben Namen wie dem alten Konnektor geben. Die `offset.storage.topic` Eigenschaft kann mithilfe der Worker-Konfiguration festgelegt werden, um dem `offset.storage.topic` denselben Namen zuzuweisen, und zwischen verschiedenen Konnektoren wiederverwendet werden. Diese Konfiguration wird unter [Konnektor-Offsets verwalten](https://docs.aws.amazon.com/msk/latest/developerguide/msk-connect-workers.html#msk-connect-create-custom-worker-config) beschrieben. MSK Connect erlaubt nicht, dass verschiedene Konnektoren `config.storage.topic` und `status.storage.topic` gemeinsam nutzen. Diese Themen werden jedes Mal erstellt, wenn Sie einen neuen Konnektor in MSKC erstellen. Sie werden automatisch nach dem Format `__amazon_msk_connect__connector_name_connector_id` benannt und unterscheiden sich daher bei den verschiedenen Konnektoren, die Sie erstellen. # Verwenden Sie das Standardthema Offset-Storage Standardmäßig generiert Amazon MSK Connect für jeden Konnektor, den Sie erstellen, ein neues Offset-Speicherthema in Ihrem Kafka-Cluster. MSK erstellt den Standard-Themennamen unter Verwendung von Teilen des Konnektor-ARN. Beispiel, `__amazon_msk_connect_offsets_my-mskc-connector_12345678-09e7-4abc-8be8-c657f7e4ff32-2`. # Benutzerdefiniertes Offset-Storage-Thema verwenden Um die Offset-Kontinuität zwischen den Quell-Konnektoren zu gewährleisten, können Sie anstelle des Standardthemas ein Offset-Speicherthema Ihrer Wahl verwenden. Wenn Sie ein Offset-Speicherthema angeben, können Sie Aufgaben wie das Erstellen eines Quell-Konnektors erledigen, der den Lesevorgang vom letzten Offset eines vorherigen Konnektors aus wieder aufnimmt. Um ein Offset-Speicherthema anzugeben, geben Sie einen Wert für die Eigenschaft `offset.storage.topic` in Ihrer Worker-Konfiguration ein, bevor Sie einen Konnektor erstellen. Wenn Sie das Offset-Speicherthema wiederverwenden möchten, um Offsets von einem zuvor erstellten Konnektor zu verwenden, müssen Sie dem neuen Konnektor denselben Namen wie dem alten Konnektor geben. Wenn Sie ein benutzerdefiniertes Offset-Speicherthema erstellen, müssen Sie [https://kafka.apache.org/27/documentation.html#topicconfigs_cleanup.policy](https://kafka.apache.org/27/documentation.html#topicconfigs_cleanup.policy) in Ihrer Themenkonfiguration auf `compact` einstellen. **Anmerkung** Wenn Sie beim Erstellen eines *Sink*-Konnektors ein Offset-Speicherthema angeben, erstellt MSK Connect das Thema, sofern es noch nicht vorhanden ist. Das Thema wird jedoch nicht zum Speichern von Konnektor-Offsets verwendet. Sink-Konnektor-Offsets werden stattdessen mithilfe des Kafka-Verbrauchergruppen-Protokolls verwaltet. Jeder Sink-Konnektor erstellt eine Gruppe mit dem Namen `connect-{CONNECTOR_NAME}`. Solange die Verbrauchergruppe existiert, werden alle aufeinanderfolgenden Sink-Konnektoren, die Sie mit demselben Wert für `CONNECTOR_NAME` erstellen, ab dem letzten festgeschriebenen Offset fortgesetzt. **Wichtig** Wenn Sie eine bestehende Connectorkonfiguration aktualisieren und gleichzeitig die Offset-Kontinuität beibehalten möchten, verwenden Sie die UpdateConnector API. Weitere Informationen finden Sie unter [Aktualisieren Sie einen Konnektor](mkc-update-connector.md). **Example : Angabe eines Offset-Speicherthemas bei der Neuerstellung eines Quell-Connectors** Wenn Sie einen Konnektor löschen und neu erstellen und dabei die Offset-Kontinuität beibehalten müssen, können Sie in Ihrer Worker-Konfiguration ein Offset-Storage-Thema angeben. Nehmen wir beispielsweise an, Sie haben einen CDC-Connector (Change Data Capture) und möchten ihn neu erstellen, ohne Ihren Platz im CDC-Stream zu verlieren. In den folgenden Schritten wird gezeigt, wie Sie diese Aufgabe erfüllen. 1. Führen Sie auf Ihrem Client-Computer den folgenden Befehl aus, um den Namen des Offset-Speicherthemas Ihres Konnektors zu ermitteln. Ersetzen Sie `` durch den Bootstrap-Broker-String Ihres Clusters. Anleitungen zum Abrufen des Bootstrap-Broker-Strings finden Sie unter [Holen Sie sich die Bootstrap-Broker für einen Amazon MSK-Cluster](msk-get-bootstrap-brokers.md). ``` /bin/kafka-topics.sh --list --bootstrap-server ``` Die folgende Ausgabe zeigt eine Liste aller Cluster-Themen, einschließlich aller standardmäßigen internen Konnektor-Themen. In diesem Beispiel verwendet der vorhandene CDC-Konnektor das von MSK Connect erstellte [Standard-Offset-Speicherthema](msk-connect-default-offset-storage-topic.md). Aus diesem Grund wird das Offset-Speicherthema `__amazon_msk_connect_offsets_my-mskc-connector_12345678-09e7-4abc-8be8-c657f7e4ff32-2` genannt. ``` __consumer_offsets __amazon_msk_canary __amazon_msk_connect_configs_my-mskc-connector_12345678-09e7-4abc-8be8-c657f7e4ff32-2 __amazon_msk_connect_offsets_my-mskc-connector_12345678-09e7-4abc-8be8-c657f7e4ff32-2 __amazon_msk_connect_status_my-mskc-connector_12345678-09e7-4abc-8be8-c657f7e4ff32-2 my-msk-topic-1 my-msk-topic-2 ``` 1. Öffnen Sie die Amazon-MSK-Konsole unter [https://console.aws.amazon.com/msk/](https://console.aws.amazon.com/msk). 1. Wählen Sie Ihren Konnektor aus der **Konnektoren**-Liste aus. Kopieren und speichern Sie den Inhalt des Felds **Konnektor-Konfiguration**, sodass Sie ihn ändern und zum Erstellen des neuen Konnektors verwenden können. 1. Wählen Sie **Löschen**, um den Konnektor zu löschen. Geben Sie dann den Konnektor-Namen in das Texteingabefeld ein, um den Löschvorgang zu bestätigen. 1. Erstellen Sie eine benutzerdefinierte Worker-Konfiguration mit Werten, die zu Ihrem Szenario passen. Detaillierte Anweisungen finden Sie unter [Erstellen Sie eine benutzerdefinierte Worker-Konfiguration](msk-connect-create-custom-worker-config.md). In Ihrer Worker-Konfiguration müssen Sie den Namen des Offset-Speicherthemas, das Sie zuvor abgerufen haben, als Wert für `offset.storage.topic` angeben, wie in der folgenden Konfiguration. ``` config.providers.secretManager.param.aws.region=eu-west-3 key.converter= value.converter= config.providers.secretManager.class=com.github.jcustenborder.kafka.config.aws.SecretsManagerConfigProvider config.providers=secretManager offset.storage.topic=__amazon_msk_connect_offsets_my-mskc-connector_12345678-09e7-4abc-8be8-c657f7e4ff32-2 ``` 1. **Wichtig** Sie müssen dem neuen Konnektor denselben Namen wie dem alten Konnektor geben. Erstellen Sie einen neuen Konnektor mit der Worker-Konfiguration, die Sie im vorherigen Schritt eingerichtet haben. Detaillierte Anweisungen finden Sie unter [Erstellen eines Connectors von](mkc-create-connector-intro.md).