Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memahami catatan CDC

Aurora DSQL CDC memberikan setiap perubahan sebagai catatan JSON. Rekaman menggunakan struktur amplop dengan tipe operasi, sebelum dan sesudah gambar baris, dan metadata sumber.

Bagaimana catatan memetakan ke Amazon Kinesis

Aurora DSQL menulis setiap catatan CDC sebagai catatan Kinesis tunggal. DataBidang catatan Kinesis berisi muatan JSON. Aurora DSQL menggunakan kunci partisi Kinesis acak untuk mendistribusikan catatan CDC secara merata di seluruh pecahan. Untuk membaca semua perubahan, gunakan semua pecahan pada aliran data Kinesis. Jika catatan melebihi batas ukuran rekaman Kinesis, Aurora DSQL membaginya di beberapa catatan Kinesis. Lihat perinciannya di Menangani catatan besar.

Kunci utama dalam muatan

Untuk tabel dengan kunci primer, nilai kolom kunci primer muncul di payload:

Misalnya, pertimbangkan tabel dengan kunci primer komposit:

CREATE TABLE order_items (
    order_id INT,
    item_id INT,
    quantity INT,
    price NUMERIC,
    PRIMARY KEY (order_id, item_id)
);

Penghapusan pada tabel ini menghasilkan muatan di mana"before": {"order_id": 1001, "item_id": 42}.

Rekam muatan

Payload menggunakan format amplop JSON berikut.

Contoh INSERT

Contoh berikut menunjukkan catatan CDC untuk operasi insert:

{
    "type": "full",
    "op": "c",
    "before": null,
    "after": {"order_id": 1001, "item_id": 42, "quantity": 5, "price": "29.99"},
    "source": {
        "version": "1.0",
        "ts_ms": 1705318200000,
        "ts_ns": 1705318200000000000,
        "txId": "ffthunp5stx6ffs2vyfqoatmfu",
        "schema": "public",
        "table": "order_items",
        "db": "postgres",
        "cluster": "kmabugltfmjdaj2siqr2qbxgju"
    },
    "ts_ms": 1705318200125,
    "ts_ns": 1705318200125483291
}

Contoh UPDATE

Contoh berikut menunjukkan seperti apa catatan CDC yang dihasilkan oleh UPDATE pernyataan setelah Aurora DSQL mulai memancarkan: op: "u"

{
    "type": "full",
    "op": "u",
    "before": null,
    "after": {"order_id": 1001, "item_id": 42, "quantity": 10, "price": "29.99"},
    "source": {
        "version": "1.0",
        "ts_ms": 1705318300000,
        "ts_ns": 1705318300000000000,
        "txId": "qvtiesgmd55cvlfukm3dfuotji",
        "schema": "public",
        "table": "order_items",
        "db": "postgres",
        "cluster": "kmabugltfmjdaj2siqr2qbxgju"
    },
    "ts_ms": 1705318300125,
    "ts_ns": 1705318300125483291
}

DELETE contoh

Untuk menghapus pada tabel dengan kunci primer, before bidang berisi nilai kunci primer dari baris yang dihapus:

{
    "type": "full",
    "op": "d",
    "before": {"order_id": 1001, "item_id": 42},
    "after": null,
    "source": {
        "version": "1.0",
        "ts_ms": 1705318400000,
        "ts_ns": 1705318400000000000,
        "txId": "xyzabc123def456ghi789jklmno",
        "schema": "public",
        "table": "order_items",
        "db": "postgres",
        "cluster": "kmabugltfmjdaj2siqr2qbxgju"
    },
    "ts_ms": 1705318400125,
    "ts_ns": 1705318400125483291
}

Bidang payload

Rincian format

Rincian berikut menjelaskan bagaimana format Aurora DSQL CDC mencatat. Rancang aplikasi Anda untuk menangani perilaku ini.

Menangani catatan besar

Ketika JSON serial rekaman CDC melebihi 9 MiB, Aurora DSQL membagi gambar, memberikan beberapa catatan Kinesis. before and/or after Setiap rekaman berisi type bidang tingkat atas yang menunjukkan strukturnya: full untuk catatan lengkap, chunked untuk catatan utama yang mereferensikan fragmen, dan fragment untuk potongan individu dari gambar yang terpotong. Bidang opsource,ts_ms, dan ts_ns bidang pada catatan utama yang terpotong berperilaku sama seperti pada catatan lengkap. Rekaman yang sesuai dengan satu catatan Kinesis telah type ditetapkan full dan tidak memerlukan penanganan tambahan.

A chunk_id stabil di seluruh percobaan ulang. Jika Aurora DSQL mengirimkan ulang sebuah fragmen, itu akan chunk_id sama dengan pengiriman asli, sehingga aplikasi Anda dapat melanjutkan buffering di bawah pengenal yang sama tanpa menangani set sebagian dari upaya sebelumnya.

Rekor utama

Rekaman utama yang terpotong menggantikan level atas before atau after bidang untuk gambar terpisah dengan chunked objek yang menjelaskan cara memasangnya kembali. Setiap entri di bawah chunked memiliki chunk_id (pengenal yang menghubungkan fragmen ke catatan ini), total_fragments (jumlah fragmen yang membentuk gambar itu), dan crc32c (checksum CRC32C, sebagai string desimal, di atas teks gambar yang dipasang kembali). Jika satu gambar sebaris dan yang lainnya terpotong, gambar sebaris masih muncul di tingkat atas sebagai nilai atau. null

{
    "type": "chunked",
    "op": "c",
    "before": null,
    "after": null,
    "source": {
        "version": "1.0",
        "ts_ms": 1705318200000,
        "ts_ns": 1705318200000000000,
        "txId": "ffthunp5stx6ffs2vyfqoatmfu",
        "schema": "public",
        "table": "order_items",
        "db": "postgres",
        "cluster": "cluster-id"
    },
    "chunked": {
        "after": {
            "chunk_id": "chunk-id",
            "total_fragments": 3,
            "crc32c": "2073618257"
        }
    },
    "ts_ms": 1705318200125,
    "ts_ns": 1705318200125483291
}

Catatan fragmen

Setiap fragmen adalah catatan Kinesis sendiri type dengan set fragment ke dan tiga bidangchunk_id: cocok dengan nilai dalam catatan chunked.before.chunk_id yang sesuai chunked.after.chunk_id atau pada catatan utamaindex, adalah posisi berbasis nol dari fragmen dalam gambar, data dan merupakan segmen dari teks JSON gambar yang dibagi UTF-8 pada batas karakter (nilai setiap fragmen data adalah string yang valid sendiri). UTF-8 Karena Aurora DSQL CDC menggunakan UNORDERED mode dan kunci partisi acak, fragmen dan catatan utama dapat tiba di pecahan yang berbeda dan dalam urutan apa pun. Untuk membaca semua fragmen, konsumsi semua pecahan pada aliran data Kinesis. Untuk informasi lebih lanjut tentang pemesanan pengiriman, lihatMemesan.

{
    "type": "fragment",
    "chunk_id": "chunk-id",
    "index": 0,
    "data": "partial-JSON-text"
}

Untuk memasang kembali gambar yang terlalu besar, buffer setiap rekaman dengan itu. type fragment chunk_id Ketika Anda menerima catatan utama dengan typechunked, tunggu sampai Anda memiliki total_fragments fragmen untuk setiap chunk_id direferensikan di bawah chunked.before atauchunked.after, urutkan fragmen dengan index naik, dan gabungkan string. data Hasil gabungan adalah asli before atau after objek sebagai teks JSON — menguraikannya untuk mengakses nilai kolom. Untuk memverifikasi integritas pengiriman, hitung CRC32C melalui string gabungan dan bandingkan hasilnya dengan atau. chunked.before.crc32c chunked.after.crc32c

Serialisasi tipe data

Tabel berikut menjelaskan bagaimana Aurora DSQL serialisasi setiap tipe data PostgreSQL dalam catatan CDC.

Jenis bilangan bulat

Nilai bigint di luar ±2^53 mungkin kehilangan presisi di lingkungan. JavaScript Gunakan BigInt atau pustaka presisi sewenang-wenang dalam kasus tersebut.

Floating-point jenis

Boolean

Jenis karakter

Biner

Jenis data tanggal dan waktu

Jenis lainnya

Nilai NULL

Untuk tipe data apa pun, nilai NULL kolom direpresentasikan sebagai JSONnull.

Evolusi skema dalam catatan CDC

Saat Anda memodifikasi skema tabel—misalnya, dengan menambahkan, menjatuhkan, atau mengganti nama kolom—catatan CDC mencerminkan perubahan yang dimulai dari transaksi yang melakukan perubahan DDL. Catatan dari transaksi yang dilakukan sebelum perubahan DDL menggunakan skema sebelumnya. Contoh:

Lacak perubahan skema di konsumen hilir Anda dengan memeriksa nama kolom yang ada di setiap rekaman dan bidang. after before source.versionBidang di setiap catatan mengidentifikasi format amplop CDC.