對 Amazon RDS Aurora零 ETL 整合進行故障診斷 - Amazon Relational Database Service

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

Amazon RDS Aurora零 ETL 整合進行故障診斷

您可以查詢分析目的地中的 SVV_INTEGRATION 系統資料表,以檢查零 ETL 整合的狀態。如果 state 資料欄具有 ErrorState 的值,表示有問題。如需詳細資訊,請參閱使用 Amazon Redshift 的系統資料表監控整合

使用以下資訊對 Amazon RDS Aurora零 ETL 整合的常見問題進行故障診斷。

重要

重新同步和重新整理操作不適用於與 Lakehouse 的零 ETL Amazon SageMaker 整合。如果整合發生問題,您必須刪除整合並建立新的整合。您無法重新整理或重新同步現有的整合。

我無法建立零 ETL 整合

如果您無法建立零 ETL 整合,請確定來源資料庫的下列內容正確:

此外,請確定下列情況對於您的目標資料倉儲是正確的:

我的整合停滯在 的狀態 Syncing

Syncing 如果您變更其中一個必要資料庫參數的值,整合可能會持續顯示 狀態。

若要修正此問題,請檢查與來源資料庫相關聯之參數群組中的參數值,並確認它們符合所需的值。如需詳細資訊,請參閱步驟 1:建立自訂資料庫參數群組。

如果您修改任何參數,請務必重新啟動 database以套用變更。

我的資料表未複寫至 Amazon Redshift

如果您沒有看到一或多個資料表反映在 Amazon Redshift 中,您可以執行下列命令來重新同步它們:

ALTER DATABASE dbname INTEGRATION REFRESH TABLES table1, table2;

如需詳細資訊,請參閱 Amazon Redshift SQL 參考中的 ALTER DATABASE

您的資料可能不會複寫,因為一或多個來源資料表沒有主索引鍵。Amazon Redshift 中的監控儀表板會將這些資料表的狀態顯示為 Failed,而整體零 ETL 整合的狀態會變更為 Needs attention。若要解決此問題,您可以識別資料表中可成為主索引鍵的現有索引鍵,也可以新增合成主索引鍵。如需詳細解決方案,請參閱在建立與 Amazon Redshift 的 Amazon Aurora MySQL 或 Amazon RDS for MySQL 零 ETL 整合時,在沒有主索引鍵的情況下處理資料表

我的一個或多個 Amazon Redshift 資料表需要重新同步

在來源資料庫上執行特定命令可能需要重新同步資料表。在這些情況下,SVV_INTEGRATION_TABLE_STATE 系統檢視會顯示 ResyncRequiredtable_state,這表示整合必須將該特定資料表的資料從 MySQL 完全重新載入至 Amazon Redshift。

當資料表開始重新同步時,其會進入 Syncing 的狀態。您不需要採取任何手動動作,即可重新同步資料表。當資料表資料重新同步時,您無法在 Amazon Redshift 中存取它。

以下是一些可以將資料表置於 ResyncRequired 狀態的範例操作,以及可以考慮的替代方法。

作業 範例 備用
將資料欄新增到特定位置
ALTER TABLE table_name ADD COLUMN column_name INTEGER NOT NULL first;
Amazon Redshift 不支援使用 firstafter 關鍵字將資料欄新增到特定位置。如果目標資料表中的資料欄順序並不重要,請使用更簡單的命令,將資料欄新增至資料表的尾端:
ALTER TABLE table_name ADD COLUMN column_name column_type;
新增具有預設 CURRENT_TIMESTAMP 的時間戳記資料欄
ALTER TABLE table_name ADD COLUMN column_name TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP;
現有資料表資料列CURRENT_TIMESTAMP的值是由 RDS for MySQL 計算,如果沒有完整資料表資料重新同步,無法在 Amazon Redshift 中模擬。

如果可能,請將預設值切換為 2023-01-01 00:00:15 之類的常值常數,避免資料表可用性中的延遲。

在單一命令內執行多個資料欄操作
ALTER TABLE table_name ADD COLUMN column_1, RENAME COLUMN column_2 TO column_3;
考慮將命令分成兩個單獨的操作 (ADDRENAME),這不需要重新同步。

Amazon SageMaker Lakehouse 零 ETL 整合的整合失敗問題

如果您在現有的零 ETL Amazon SageMaker 整合中遇到與湖屋整合的問題,唯一的解決方法是刪除整合並建立新的整合。與其他 AWS 服務不同,零 ETL 整合不支援重新整理或重新同步操作。

若要解決整合問題:

  1. 使用主控台、CLI 或 API 刪除有問題的零 ETL 整合。

  2. 驗證來源資料庫和目標資料倉儲組態是否正確。

  3. 使用相同或更新的組態建立新的零 ETL 整合。

此程序將導致資料管道完全重新初始化,這可能需要一些時間,這取決於來源資料庫的大小。