View a markdown version of this page

Pengaturan tugas validasi data - AWS Layanan Migrasi Database

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pengaturan tugas validasi data

Anda dapat memastikan bahwa data Anda dimigrasi secara akurat dari sumber ke target. Jika Anda mengaktifkan validasi untuk tugas, mul AWS DMS ailah membandingkan data sumber dan target segera setelah beban penuh dilakukan untuk tabel. Untuk informasi lebih lanjut tentang validasi data tugas, persyaratan, cakupan dukungan basis data, dan metrik yang dilaporkan, lihat AWS Validasi data DMS. Untuk informasi tentang cara menggunakan file konfigurasi tugas untuk mengatur pengaturan tugas, lihatContoh pengaturan tugas.

Pengaturan validasi data dan nilai-nilai mereka mencakup hal berikut:

  • EnableValidation – Mengaktifkan validasi data bila diatur ke BETUL. Jika tidak, validasi dinonaktifkan untuk tugas tersebut. Nilai default-nya adalah SALAH.

  • ValidationMode— mengontrol bagaimana AWS DMS memvalidasi data dalam tabel target terhadap tabel sumber. Dimulai dengan mesin replikasi versi 3.5.4, DMS secara otomatis menyetel ini ke jalur migr GROUP_LEVEL asi yang didukung, memberikan kinerja validasi yang ditingkatkan dan pemrosesan yang jauh lebih cepat untuk kumpulan data besar. Peningkatan ini berlaku untuk migrasi untuk jalur migrasi yang tercantum dalam sinkronisasi AWS DMS ulang data. Untuk semua jalur migrasi lainnya, mode validasi default keROW_LEVEL.

    catatan

    Terlepas dari pengaturan, AWS DMS memvalidasi semua baris yang dikonfigurasi melalui validasi tabel.

  • FailureMaxCount – Menentukan jumlah maksimum catatan yang dapat gagal validasi sebelum validasi ditangguhkan untuk tugas tersebut. Nilai default adalah 10,000. Jika Anda ingin validasi untuk melanjutkan terlepas dari jumlah catatan yang gagal validasi, menetapkan nilai ini lebih tinggi dari jumlah catatan dalam sumber.

  • HandleCollationDiff— Ketika opsi ini disetel ketrue, validasi memperhitungkan perbedaan kolasi kolom antara basis data sumber dan target. Jika tidak, perbedaan tersebut dalam pemeriksaan kolom diabaikan untuk validasi. Collations kolom dapat mendikte urutan baris, yang penting untuk validasi data. Mengatur HandleCollationDiff ke BENAR menyelesaikan perbedaan kolasi secara otomatis dan mencegah positif palsu dalam validasi data. Nilai default-nya adalah false.

  • RecordFailureDelayInMinutes— Menentukan waktu tunda dalam menit sebelum melaporkan rincian kegagalan validasi.

    Jika latensi CDC Tugas DMS keseluruhan lebih besar dari nilainya diutamakan, misalnya, jika RecordFailureDelayInMinutes 5, dan Latensi CDC adalah 7 menit maka DMS menunggu 7 menit untuk melaporkan detail kegagalan validasi. RecordFailureDelayInMinutesthen

  • RecordFailureDelayLimitInMinutes— Menentukan penundaan sebelum melaporkan detail kegagalan validasi apa pun. AWS DMS menggunakan latensi tugas untuk mengenali penundaan aktual untuk perubahan agar sampai ke target untuk mencegah hasil positif palsu. Pengaturan ini mengesampingkan penundaan aktual dan nilai Latensi CDC tugas DMS dan memungkinkan Anda menetapkan penundaan yang lebih besar sebelum melaporkan metrik validasi apa pun. Nilai default-nya adalah 0.

  • RecordSuspendDelayInMinutes— Menentukan waktu tunda dalam menit sebelum tabel ditangguhkan dari validasi karena ambang kesalahan yang ditetapkanFailureMaxCount.

  • SkipLobColumns- Ketika opsi ini disetel ketrue, AWS DMS melewatkan validasi data untuk semua kolom LOB di bagian tabel dari validasi tugas. Nilai default-nya adalah false.

  • TableFailureMaxCount— Menentukan jumlah maksimum baris dalam satu tabel yang dapat gagal validasi sebelum validasi ditangguhkan untuk tabel. Nilai default adalah 1,000.

  • ThreadCount- Menentukan jumlah utas eksekusi yang AWS DMS digunakan selama validasi. Setiap thread memilih data tidak-divalidasi dari sumber dan target untuk membandingkan dan memvalidasi. Nilai bawaannya adalah 5. Jika Anda mengatur ThreadCount angka yang lebih tinggi, AWS DMS dapat menyelesaikan validasi lebih cepat. Namun, AWS DMS kemudian menjalankan kueri yang lebih simultan, mengkonsumsi lebih banyak sumber daya pada sumber dan target.

  • ValidationOnly- Ketika opsi ini disetel ketrue, tugas melakukan validasi data tanpa melakukan migrasi atau replikasi data apa pun. Nilai default-nya adalah false. Anda tidak dapat mengubah ValidationOnly pengaturan setelah tugas dibuat.

    Anda harus menyet TargetTablePrepMode el ke DO_NOTHING (default untuk tugas validasi saja) dan mengatur Jenis Migrasi ke salah satu dari berikut ini:

    • Beban Penuh — Mengatur jenis Migrasi tugas untuk Memigrasikan data yang ada di AWS DMS konsol. Atau, di AWS DMS API atur jenis migrasi ke FULL-LOAD.

    • CDC — Mengatur jenis Migrasi tugas ke Mereplikasi perubahan data hanya di AWS DMS konsol. Atau, di AWS DMS API mengatur jenis migrasi ke CDC.

    Terlepas dari jenis migrasi yang dipilih, data tidak benar-benar dimigrasi atau direplikasi selama tugas validasi saja.

    Untuk informasi selengkapnya, lihat Tugas hanya validasi.

    penting

    Parameter ValidationOnly tetap. Itu tidak dapat dimodifikasi untuk tugas setelah tugas itu dibuat.

  • ValidationPartialLobSize – Menentukan jika Anda ingin melakukan validasi parsial untuk kolom LOB alih-alih memvalidasi semua data yang disimpan dalam kolom. Ini adalah sesuatu yang Anda mungkin menemukan berguna ketika Anda bermigrasi hanya bagian dari data LOB dan tidak seluruh LOB data set. Nilai dalam unit KB. Nilai default-nya adalah 0, yang berarti AWS DMS memvalidasi semua data kolom LOB. Misalnya, "ValidationPartialLobSize": 32 berarti AWS DMS hanya memvalidasi 32KB pertama dari data kolom di sumber dan target.

  • PartitionSize – Menentukan ukuran batch catatan untuk dibaca sebagai perbandingan dari sumber dan target. Default adalah 10.000.

  • ValidationQueryCdcDelaySeconds – Jumlah waktu kueri validasi pertama tertunda pada sumber dan target untuk setiap pembaruan CDC. Hal ini dapat membantu mengurangi pertentangan sumber daya ketika latensi migrasi tinggi. Sebuah validasi hanya tugas secara otomatis menetapkan opsi ini untuk 180 detik. Defaultnya adalah 0.

Misalnya, JSON berikut memungkinkan validasi data dengan dua kali jumlah default benang. Ini juga menyumbang perbedaan dalam urutan catatan yang disebabkan oleh perbedaan pemeriksaan kolom di endpoint PostgreSQL. Selain itu, menyediakan penundaan pelaporan validasi ke akun untuk waktu tambahan untuk memproses kegagalan validasi.


"ValidationSettings": {
     "EnableValidation": true,
     "ThreadCount": 10,
     "HandleCollationDiff": true,
     "RecordFailureDelayLimitInMinutes": 30
  }
catatan

Untuk titik akhir Oracle, AWS DMS gunakan DBMS_CRYPTO untuk memvalidasi BLOB. Jika titik akhir Oracle menggunakan BLOB, berikan execute izin untuk DBMS_CRYPTO ke akun pengguna yang mengakses titik akhir Oracle. Untuk melakukan ini, jalankan pernyataan berikut.

grant execute on sys.dbms_crypto to dms_endpoint_user;