View a markdown version of this page

從自我管理的 Kafka 叢集監控複寫 - Amazon Managed Streaming for Apache Kafka

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

從自我管理的 Kafka 叢集監控複寫

在您建立 MSK Replicator 將資料從自我管理的 Apache Kafka 叢集複寫到 Amazon MSK Express 代理程式之後，請監控下列 Amazon CloudWatch 指標以追蹤複寫進度，並判斷您的應用程式何時準備好遷移。

監控複寫器建立狀態

呼叫 CreateReplicator API 後，複寫器會轉換下列狀態：CREATING、 RUNNING或 FAILED。等待約 30 分鐘。

aws kafka describe-replicator --replicator-arn <replicator-arn>
監控資料複寫

監控下列指標以追蹤資料複寫進度：

  • MessageLag — 監控直到達到 0，這表示所有資料都已複寫。

  • ReplicationLatency — 追蹤記錄從來源複寫到目標所需的時間。

  • ReplicationFailures — 應為 0。非零值表示複寫問題。

監控取用者群組位移同步

當 synchroniseConsumerGroupOffsets 設為 時true，MSK Replicator 會定期轉譯消費者群組位移，並將來源與目標叢集同步。

  • ConsumerGroupCount — 確認這符合要同步的預期取用者群組數量。

  • ConsumerGroupOffsetSyncFailure — 應為 0。如果大於 0，請檢查取用者群組是否處於作用中狀態、驗證讀取和描述許可，並確保目標叢集上存在主題。

  • OffsetLag (MSK) 和 OffsetLag (Non-MSK) — 比較兩個叢集的分割區層級消費者延遲，以確認偏移已同步。

判斷遷移準備程度

當符合下列所有條件時，您的應用程式已準備好遷移：

  • MessageLag = 0

  • ReplicationFailures = 0

  • ConsumerGroupOffsetSyncFailure = 0