Migrazione dei connettori sink ad Amazon MSK Connect - Amazon Managed Streaming per Apache Kafka

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Migrazione dei connettori sink ad Amazon MSK Connect

I connettori Sink sono applicazioni Apache Kafka Connect che esportano dati da Kafka a sistemi esterni. Questa sezione descrive il processo di migrazione delle applicazioni sink connector di Apache Kafka Connect che eseguono cluster Kafka Connect locali o autogestiti in esecuzione su Amazon MSK Connect. AWS

I connettori sink Kafka Connect utilizzano l'API Kafka Group Membership e memorizzano gli offset negli stessi __consumer_offset argomenti di una tipica applicazione consumer. Questo comportamento semplifica la migrazione del connettore sink da un cluster autogestito ad Amazon MSK Connect.

Per migrare i connettori sink su Amazon MSK Connect, procedi come segue:

  1. Crea un plug-in personalizzato Amazon MSK Connect estraendo le librerie di connettori dal tuo cluster Kafka Connect locale o autogestito.

  2. Crea le proprietà dei lavoratori Amazon MSK Connect e imposta le proprietà key.converter e value.converter gli stessi valori impostati per il connettore Kafka in esecuzione nel cluster Kafka Connect esistente.

  3. Metti in pausa l'applicazione del connettore sul cluster esistente effettuando una PUT /connectors/connector-name/pause richiesta sul cluster Kafka Connect esistente.

  4. Assicurati che tutte le attività dell'applicazione del connettore siano completamente interrotte. È possibile interrompere le attività effettuando una GET /connectors/connector-name/status richiesta sul cluster Kafka Connect esistente o consumando i messaggi dal nome dell'argomento impostato per la proprietà. status.storage.topic

  5. Ottieni la configurazione del connettore dal cluster esistente. È possibile ottenere la configurazione del connettore effettuando una GET /connectors/connector-name/config richiesta sul cluster esistente o utilizzando i messaggi dal nome dell'argomento impostato per la proprietàconfig.storage.topic.

  6. Crea un nuovo Amazon MSK Connector con lo stesso nome del cluster esistente. Crea questo connettore utilizzando il plug-in personalizzato del connettore che hai creato nel passaggio 1, le proprietà del worker che hai creato nel passaggio 2 e la configurazione del connettore che hai estratto nel passaggio 5.

  7. Quando lo stato di Amazon MSK Connector è active impostato su, visualizza i log per verificare che il connettore abbia iniziato a importare dati dal sistema di origine.

  8. Elimina il connettore nel cluster esistente effettuando una richiesta. DELETE /connectors/connector-name