View a markdown version of this page

營運資料佈建 (ODP) 來源 - AWS Glue

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

營運資料佈建 (ODP) 來源

營運資料佈建 (ODP) 提供技術基礎設施,可以用來支援各種目標應用程式的資料擷取和複寫,並支援這些案例中的 delta 機制。如果為 delta 程序,來源 (ODP 提供者) 中的資料會使用更新程序自動寫入 delta 佇列 (Operational Delta Queue – ODQ),或使用擷取器界面傳遞至 delta 佇列。ODP 提供者可以是 DataSource (擷取器)、ABAP Core Data Services Views (ABAP CDS Views)、SAP BW 或 SAP BW/4HANA、SAP Landscape Transformation Replication Server (SLT) 和 SAP HANA Information Views (計算檢視)。目標應用程式 (稱為 ODQ 「訂閱者」或更普遍稱為「ODP 消費者」) 從 delta 佇列中擷取資料並繼續處理資料。

完整載入

在 SAP OData 和 ODP 實體的內容中,完整載入是指在單一操作中從 ODP 實體擷取所有可用資料的程序。此操作會從來源系統中擷取完整的資料集,確保目標系統擁有實體資料的完整最新副本。完全載入通常用於不支援增量載入的來源或需要重新整理目標系統時。

範例

您可以在建立 DynamicFrame 時,明確將 ENABLE_CDC 旗標設為 false。注意:ENABLE_CDC 預設為 false,如果您不想初始化 delta 佇列,則不需要傳送此旗標或將其設定為 true。未將此旗標設定為 true 將導致完整的載入擷取。

sapodata_df = glueContext.create_dynamic_frame.from_options( connection_type="SAPOData", connection_options={ "connectionName": "connectionName", "ENTITY_NAME": "entityName", "ENABLE_CDC": "false" }, transformation_ctx=key)

增量載入

ODP (Operational Data Provisioning) 實體內容中的增量載入包括自上次資料擷取以來,僅從來源系統擷取新的或變更的資料 (delta),避免預先處理已處理的記錄。這種方法可大幅提升效率、減少資料傳輸量、提高效能、確保系統之間的高效同步,並將處理時間降至最低,尤其是經常變更的大型資料集。