View a markdown version of this page

建立和管理整合 - AWS Glue
建立整合修改整合刪除整合整合狀態

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

建立和管理整合

建立整合

本節說明建立 整合的一般步驟。此範例使用 Amazon DynamoDB 作為來源。

  1. 在 AWS Glue 主控台首頁上，選取零 ETL 整合。

  2. 您可以在零 ETL 整合首頁上檢視所有整合。若要建立新的整合，請選取建立零 ETL 整合。

    螢幕擷取畫面顯示主要零 ETL 整合頁面。

  3. 會提示您選取來源類型。選取來源，然後按一下下一步。請參閱 SaaS 整合來源的來源組態區段。

  4. 在設定來源和目標頁面中，選取要複寫的資料表或實體。對於 Amazon DynamoDB，請確保已設定 PITR 和 RBAC 政策。

  5. 指定整合目標：

    • 針對 AWS Glue Data Catalog 目標，選取您要複寫資料的 AWS Glue 資料庫。

    • 針對 Amazon Redshift 資料倉儲目標，選取 Redshift 叢集命名空間或 Redshift Serverless 工作群組命名空間。

    如需詳細資訊，請參閱設定與您的目標的整合。

  6. 提供您在先決條件中建立的目標 IAM 角色。

  7. 如果您想要為存放在目標中的資料設定選用的目標 KMS 金鑰，請提供已啟用的 KMS 金鑰。同樣地，如果您想要設定目標網路連線，請選取 AWS Glue 連線。

  8. 修正目標按鈕會設定本文件先決條件區段中的一些步驟。也就是說，其會 1) 提供目錄 RBAC 政策，以及 2) 如果未提供 Amazon S3 URI，則會為您產生一個，否則會使用提供的 URI。

  9. 在設定來源和目標頁面的輸出設定區段中，為目標中的資料選取您想要的結構描述解除巢狀選項。如果想要將自訂分區金鑰用於您的資料，請選取指定自訂分區金鑰，並提供最多 10 個金鑰。否則，您可以直接使用指派給要複寫之 DynamoDB 資料表的分區金鑰。

  10. 在安全和資料加密區段中，可以提供 KMS 金鑰，用於將資料複寫到目標的中介程序。否則，將使用 AWS 受管 KMS 金鑰。在整合詳細資訊中輸入零 ETL 整合的名稱。

  11. 檢閱並確保提供的所有詳細資訊皆正確無誤。確認所有內容後，按一下建立並啟動整合。

  12. 在「零 ETL」首頁中，可以選擇您建立的整合，將會顯示整合的詳細資訊。"Status" 表示整合的狀態。

修改整合

可以修改現有的整合。

  1. 選取整合詳細資訊頁面右上角的編輯。

  2. 在編輯來源和目標頁面中，可以變更目標 IAM 角色和目標網路連線。在建立整合後，無法編輯其他欄位。按一下 Next (下一步)。

  3. 也可以在編輯整合和組態頁面中編輯整合的名稱和說明。按一下 Next (下一步)。

  4. 檢閱您的編輯，確認後，請按一下更新整合。

刪除整合

Delete 是整合的終端狀態。刪除後，就無法復原整合。刪除整合會清除所有內部中繼資料和任何中間儲存的資料。

在此過程中，任何正在將資料寫入目標資料表的執行中任務都會終止。 AWS Glue 不會刪除或清除目標 AWS Glue 資料庫 （在 Data Catalog 中），以及您帳戶中 Amazon S3 儲存貯體中的相關資料。如有需要，需要明確清除這些項目。

若要刪除整合：

  1. 在整合詳細資訊頁面中，按一下刪除。

  2. 輸入「刪除」，然後按一下刪除。注意：這是不可復原的動作。

  3. 在整合詳細資訊頁面中，狀態會顯示「正在刪除」。整合實際刪除後，就不會再出現在零 ETL 整合首頁上。

整合狀態

整合會經歷從建立到刪除的各種狀態：

  • CREATING - 這是啟動整合建立時的第一個狀態。在此狀態下， AWS Glue 會進行初始化。除非缺少某些組態，否則此狀態應該會快速移至建立狀態。

  • ACTIVE - 整合達到此狀態後， AWS Glue 會開始資料傳輸 （初始完全載入）。除非有許可問題，否則在初始完全載入完成後，將遵循定期變更資料擷取。

  • MODIFYING - 對整合進行修改後，整合會進入修改狀態。套用修改後，ACTIVE如果在修改後整合成功，或將進入 NEEDS_ATTENTION 或FAILED發生任何問題，整合會移至 。

  • NEEDS_ATTENTION - 如果發生使用者錯誤或系統錯誤，整合將進入此狀態。使用者錯誤包括缺少許可、缺少來源或目標資源、不支援的資料錯誤 （們）。系統錯誤包括內部系統錯誤。對於這兩種錯誤類型， AWS Glue 零 ETL 將繼續重試資料同步 7 天，然後再將整合標記為 FAILED。如果您在此之前修正了問題，整合將再次變為 ACTIVE，並開始傳輸資料。

  • SYNCING - 如果 AWS Glue Zero ETL 偵測到資料表/資料表中資料欄傳入結構描述的任何資料類型變更，整合將進入此狀態。在這種情況下 AWS Glue ，零 ETL 會為所有此類資料表請求新的快照集。在此期間，整合將處於 SYNCING 狀態，並在新請求的快照可供擷取時最終轉換為 ACTIVE 狀態。

  • FAILED - 這是無法復原的狀態。一旦整合進入此狀態，就無法復原。再次開始從來源到目標的資料傳輸的唯一方法是刪除並重新建立整合。如果 AWS Glue 零 ETL 發現使用者錯誤或系統錯誤未修正 7 天，且所有重試都用盡， AWS Glue 則零 ETL 會將整合標記為失敗。

  • DELETING - 當您叫用 delete-integration API 時， AWS Glue 請先將整合移至 DELETING 狀態。清除所有中繼資料並終止內部處理後， AWS Glue 會將整合移至刪除狀態。

  • DELETED - 這是整合的終端狀態。整合無法從此狀態移至任何其他狀態。如果需要從相同來源到目標的資料傳輸，您應該再次建立整合。