本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
將來源連接器遷移至 Amazon MSK Connect
來源連接器是將記錄從外部系統匯入 Kafka 的 Apache Kafka Connect 應用程式。本節說明將執行內部部署或自我管理 Kafka Connect 叢集的 Apache Kafka Connect 來源連接器應用程式遷移 AWS 至 Amazon MSK Connect 的程序。
Kafka Connect 來源連接器應用程式會將位移存放在名為 的主題中,該主題具有為組態屬性 設定的值offset.storage.topic。以下是 JDBC 連接器的範例位移訊息,該連接器正在執行從兩個名為 movies和 的不同資料表匯入資料的兩個任務shows。從資料表電影匯入的最近一列主要 ID 為 18343。從 顯示資料表匯入的最近資料列主要 ID 為 732。
["jdbcsource",{"protocol":"1","table":"sample.movies"}] {"incrementing":18343} ["jdbcsource",{"protocol":"1","table":"sample.shows"}] {"incrementing":732}
若要將來源連接器遷移至 Amazon MSK Connect,請執行下列動作:
從您的內部部署或自我管理 Kafka Connect 叢集中提取連接器程式庫,以建立 Amazon MSK Connect 自訂外掛程式。
建立 Amazon MSK Connect 工作者屬性,並將屬性
key.converter、value.converter和offset.storage.topic設定為與現有 Kafka Connect 叢集中執行之 Kafka 連接器相同的值。在現有 Kafka Connect 叢集上提出
PUT /connectors/請求,以暫停現有叢集上的連接器應用程式。connector-name/pause確定連接器應用程式的所有任務都已完全停止。您可以停止任務,方法是在現有的 Kafka Connect 叢集上提出
GET /connectors/請求,或取用屬性 所設定主題名稱的訊息connector-name/statusstatus.storage.topic。從現有叢集取得連接器組態。您可以在現有叢集上提出
GET /connectors/請求,或取用屬性 所設定主題名稱的訊息,以取得連接器組態connector-name/config/config.storage.topic。使用與現有叢集相同的名稱建立新的 Amazon MSK Connector。使用您在步驟 1 中建立的連接器自訂外掛程式、您在步驟 2 中建立的工作者屬性,以及您在步驟 5 中擷取的連接器組態,來建立此連接器。
當 Amazon MSK Connector 狀態為 時
active,請檢視日誌以確認連接器已開始從來源系統匯入資料。透過提出
DELETE /connectors/請求,刪除現有叢集中的連接器。connector-name