本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

了解 CDC 記錄

Aurora DSQL CDC 會以 JSON 記錄的形式交付每個變更。記錄使用具有操作類型的信封結構、資料列影像前後，以及來源中繼資料。

記錄如何映射至 Amazon Kinesis

Aurora DSQL 會將每個 CDC 記錄寫入為單一 Kinesis 記錄。Kinesis 記錄Data的欄位包含 JSON 承載。Aurora DSQL 使用隨機 Kinesis 分割區索引鍵，將 CDC 記錄平均分散到碎片。若要讀取所有變更，請使用 Kinesis 資料串流上的所有碎片。如果記錄超過 Kinesis 記錄大小限制，Aurora DSQL 會將其分割為多個 Kinesis 記錄。如需詳細資訊，請參閱處理過大的記錄。

承載中的主索引鍵

對於具有主索引鍵的資料表，主索引鍵資料欄值會出現在承載中：

例如，請考慮具有複合主索引鍵的資料表：

CREATE TABLE order_items (
    order_id INT,
    item_id INT,
    quantity INT,
    price NUMERIC,
    PRIMARY KEY (order_id, item_id)
);

此資料表上的刪除會產生承載，其中 "before": {"order_id": 1001, "item_id": 42}。

記錄承載

承載使用下列 JSON 信封格式。

INSERT 範例

下列範例顯示插入操作的 CDC 記錄：

{
    "type": "full",
    "op": "c",
    "before": null,
    "after": {"order_id": 1001, "item_id": 42, "quantity": 5, "price": "29.99"},
    "source": {
        "version": "1.0",
        "ts_ms": 1705318200000,
        "ts_ns": 1705318200000000000,
        "txId": "ffthunp5stx6ffs2vyfqoatmfu",
        "schema": "public",
        "table": "order_items",
        "db": "postgres",
        "cluster": "kmabugltfmjdaj2siqr2qbxgju"
    },
    "ts_ms": 1705318200125,
    "ts_ns": 1705318200125483291
}

UPDATE 範例

下列範例顯示 Aurora DSQL 開始發出 之後， UPDATE陳述式產生的 CDC 記錄會是什麼樣子op: "u"：

{
    "type": "full",
    "op": "u",
    "before": null,
    "after": {"order_id": 1001, "item_id": 42, "quantity": 10, "price": "29.99"},
    "source": {
        "version": "1.0",
        "ts_ms": 1705318300000,
        "ts_ns": 1705318300000000000,
        "txId": "qvtiesgmd55cvlfukm3dfuotji",
        "schema": "public",
        "table": "order_items",
        "db": "postgres",
        "cluster": "kmabugltfmjdaj2siqr2qbxgju"
    },
    "ts_ms": 1705318300125,
    "ts_ns": 1705318300125483291
}

DELETE 範例

對於具有主索引鍵的資料表上的刪除， before 欄位包含已刪除資料列的主索引鍵值：

{
    "type": "full",
    "op": "d",
    "before": {"order_id": 1001, "item_id": 42},
    "after": null,
    "source": {
        "version": "1.0",
        "ts_ms": 1705318400000,
        "ts_ns": 1705318400000000000,
        "txId": "xyzabc123def456ghi789jklmno",
        "schema": "public",
        "table": "order_items",
        "db": "postgres",
        "cluster": "kmabugltfmjdaj2siqr2qbxgju"
    },
    "ts_ms": 1705318400125,
    "ts_ns": 1705318400125483291
}

承載欄位

格式詳細資訊

下列詳細資訊說明 Aurora DSQL CDC 如何格式化記錄。設計您的應用程式來處理這些行為。

處理過大的記錄

當 CDC 記錄的序列化 JSON 超過 9 MiB 時，Aurora DSQL 會分割 before和/或 after 映像，交付多個 Kinesis 記錄。每個記錄都包含指出其結構的最上層type欄位：full對於完整記錄，chunked對於參考片段的主要記錄，fragment對於區塊影像的個別部分。區塊主要記錄上的 op、ts_ms、 source和 ts_ns 欄位的行為與完整記錄上的相同。適用於單一 Kinesis 記錄的記錄已type設定為 full，且不需要任何額外的處理。

在重試期間， chunk_id 是穩定的。如果 Aurora DSQL 重新交付片段，它與原始交付的承載chunk_id相同，因此您的應用程式可以在相同的識別符下繼續緩衝，而無需處理先前嘗試的部分集合。

主要記錄

區塊主要記錄會將分割影像的頂層before或after欄位取代為物件chunked，描述如何重新組合。下的每個項目chunked都有一個 chunk_id（連結片段至此記錄的識別符）、 total_fragments （構成該影像的片段數量） 和 crc32c（在重新組合影像文字上做為小數字串的 CRC32C 檢查總和）。如果一個影像內嵌，而另一個影像區塊化，內嵌影像仍會在最上層顯示為值或 null。

{
    "type": "chunked",
    "op": "c",
    "before": null,
    "after": null,
    "source": {
        "version": "1.0",
        "ts_ms": 1705318200000,
        "ts_ns": 1705318200000000000,
        "txId": "ffthunp5stx6ffs2vyfqoatmfu",
        "schema": "public",
        "table": "order_items",
        "db": "postgres",
        "cluster": "cluster-id"
    },
    "chunked": {
        "after": {
            "chunk_id": "chunk-id",
            "total_fragments": 3,
            "crc32c": "2073618257"
        }
    },
    "ts_ms": 1705318200125,
    "ts_ns": 1705318200125483291
}

片段記錄

每個片段都是自己的 Kinesis 記錄，type其設定為 fragment和三個欄位： chunk_id 符合對應chunked.before.chunk_id或chunked.after.chunk_id主要記錄中的值、index影像中片段的零基位置，data以及影像在 UTF-8 字元邊界上分割的 JSON 文字區段 （每個片段data的值本身是有效的 UTF-8 字串）。由於 Aurora DSQL CDC 使用UNORDERED模式和隨機分割區索引鍵，片段和主要記錄可以按任何順序到達不同的碎片。若要讀取所有片段， 會使用 Kinesis 資料串流上的所有碎片。如需交付訂購的詳細資訊，請參閱 排序。

{
    "type": "fragment",
    "chunk_id": "chunk-id",
    "index": 0,
    "data": "partial-JSON-text"
}

若要重新組合大型影像，請使用 typefragment緩衝每個記錄chunk_id。當您收到具有 type 的主要記錄時chunked，請等到您在 chunked.before或 下chunk_id參考的每個total_fragments片段都有片段chunked.after，然後依index遞增排序片段，然後串連data字串。串連的結果是原始before或after物件做為 JSON 文字 - 剖析它以存取資料欄值。若要驗證交付完整性，請透過串連字串運算 CRC32C，並將結果與 chunked.before.crc32c或 進行比較chunked.after.crc32c。

資料類型序列化

下表說明 Aurora DSQL 如何序列化 CDC 記錄中的每個 PostgreSQL 資料類型。

整數類型

在 JavaScript 環境中，bigint超過 ±2^53 的值可能會失去精確度。在這些情況下使用 BigInt 或任意精確度程式庫。

浮點類型

Boolean

字元類型

二進位

資料和時間類型

其他類型

NULL 值

對於任何資料類型，NULL資料欄值會以 JSON 表示null。

CDC 記錄中的結構描述演變

當您修改資料表的結構描述時，例如新增、捨棄或重新命名資料欄，CDC 記錄會反映從遞交 DDL 變更的交易開始的變更。在 DDL 變更之前遞交的交易記錄會使用先前的結構描述。例如：

透過檢查每個記錄的 after和 before欄位中存在的資料欄名稱，追蹤下游消費者的結構描述變更。每個記錄中source.version的欄位可識別 CDC 信封格式。