S3 Tables 複寫的運作方式

S3 Tables 複寫會跨區域和建立 Apache Iceberg 資料表的唯讀複本 AWS 帳戶。複本資料表由 S3 Tables 服務自動維護，並包含來自來源資料表的完整資料、中繼資料和快照歷史記錄，使其可使用任何與 Iceberg 相容的引擎進行分析和時間歷程操作來查詢。

當您設定資料表的複寫時，S3 資料表：

如需詳細資訊，請參閱下列區段。

複寫的內容

已複寫下列資料表元件：

資料表快照 – 所有快照，包括壓縮快照，都會依時間順序複寫，以維護來源資料表中的父子關係和序號。這可確保複本資料表提供與來源資料表相同的時間行程功能。
資料表資料 – 資料表快照參考的所有資料檔案都會複寫至目的地區域。其中包含：
- 中繼資料檔案 – 資料表中繼資料.json 檔案、資訊清單、資訊清單清單、分割區統計資料和資料表統計資料。
- 刪除檔案 – 複寫所有刪除檔案，以維護複本資料表中的資料準確性。
- 資料檔案 – 複寫資訊清單參考的所有資料檔案。
資料表中繼資料 – 完成中繼資料複寫，包括結構描述資訊（目前和歷史）、分割區規格、排序順序和資料表屬性。
- 結構描述資訊 – 複寫所有資料表結構描述，包括目前的結構描述和歷史結構描述版本。這可確保針對複本資料表的查詢使用正確的資料欄定義、資料類型和欄位映射。複寫程序會維護結構描述演變歷史記錄，允許時間歷程查詢在複本資料表上正常運作。
- 分割區規格 – 複寫目前和歷史分割區規格，確保複本資料表維持與來源資料表相同的分割區策略。
- 排序順序 – 複寫資料表排序順序，以維持查詢效能最佳化。

複寫透過比較來源和複本資料表之間的 Apache Iceberg 資料表中繼資料，來判斷複本資料表的有效狀態。複寫會處理三個類別中的中繼資料，以更新您的複本資料表。

對於版本控制的中繼資料欄位，複寫會將來源資料表的值合併到複本資料表的陣列中，用於下列欄位：

對於代表資料表組態的欄位，複寫會直接從來源資料表複製值：

目前資料表狀態也會從來源資料表傳輸：

下列欄位是根據合併的資料計算，並針對複本資料表更新：

S3 Tables 複寫會以與來源資料表相同的遞交順序複寫所有資料表快照，以維護跨區域的完整快照歷史記錄。來源資料表的父子關係會保留在複本資料表中。

您可以為複寫的資料表設定與來源的保留期不同的自訂快照保留期。這表示即使快照已過期且無法在來源資料表中使用，也可以保留在複本中。

例如，如果您的來源資料表有 30 天的快照保留期，但您的複本資料表已設定 90 天的保留期，則複本會保留來源資料表中不再可用的前兩個月的快照。

您在來源資料表中手動過期的快照也會保留在複本資料表中。例如，如果您使用 Spark 程序從來源資料表的 2 月過期快照，您仍然可以前往複本資料表中的快照。

下列考量適用於複寫的資料表：

您的瀏覽器已停用或無法使用 Javascript。

您必須啟用 Javascript，才能使用 AWS 文件。請參閱您的瀏覽器說明頁以取得說明。

複寫 S3 資料表

設定 S3 Tables 複寫