Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Runbook migrasi Amazon DocumentDB

Runbook ini menyediakan panduan komprehensif untuk memigrasikan database MongoDB ke Amazon DocumentDB menggunakan (DMS). AWS Database Migration Service Ini dirancang untuk mendukung administrator database, insinyur cloud, dan pengembang sepanjang perjalanan migrasi ujung ke ujung — dari penemuan awal hingga validasi pasca-migrasi.

Mengingat perbedaan dalam implementasi dan fitur yang didukung antara MongoDB dan Amazon DocumentDB, runbook ini menekankan pendekatan terstruktur dan sistematis. Ini menguraikan penilaian pra-migrasi penting, menyoroti pertimbangan kompatibilitas, dan merinci tugas-tugas utama yang diperlukan untuk memastikan migrasi yang berhasil dengan gangguan minimal.

Runbook diatur ke dalam topik-topik berikut:

Dengan mengikuti panduan dalam runbook ini, tim dapat memastikan transisi yang lancar, aman, dan efisien ke Amazon DocumentDB, sambil mempertahankan fungsionalitas aplikasi dan meminimalkan risiko.

Kompatibilitas

Saat bermigrasi dari MongoDB ke Amazon DocumentDB, penilaian awal yang menyeluruh dan pemeriksaan kompatibilitas fitur sangat penting untuk keberhasilan migrasi. Proses ini dimulai dengan inventaris komprehensif fitur MongoDB Anda, termasuk operator pipa agregasi, pola kueri, indeks, dan model data.

Karena Amazon DocumentDB kompatibel dengan API MongoDB 3.6, 4.0, 5.0, dan 8.0, aplikasi yang menggunakan MongoDB-specific fitur yang lebih baru mungkin memerlukan refactoring. Area kritis untuk dievaluasi meliputi mekanisme sharding (Amazon DocumentDB menggunakan pendekatan yang berbeda), implementasi transaksi, fungsionalitas aliran perubahan, dan jenis indeks (terutama indeks jarang dan sebagian).

Karakteristik kinerja juga berbeda, dengan Amazon DocumentDB dioptimalkan untuk beban kerja perusahaan dengan kinerja yang dapat diprediksi. Pengujian harus melibatkan menjalankan beban kerja representatif terhadap kedua sistem untuk mengidentifikasi pola kueri yang mungkin memerlukan pengoptimalan.

Memantau rencana pelaksanaan untuk mendeteksi potensi kesenjangan kinerja penting selama fase penilaian. Ini membantu membuat peta jalan migrasi yang jelas, mengidentifikasi perubahan aplikasi yang diperlukan dan menetapkan jadwal yang realistis untuk transisi yang lancar.

Kompatibilitas fitur inti

Dukungan fitur komprehensif

Ditingkatkan AWS-fitur terintegrasi

Keunggulan arsitektur modern

Untuk ikhtisar komprehensif tentang kemampuan Amazon DocumentDB, lihat API, operasi, dan tipe data MongoDB yang didukung di Amazon DocumentDB dan Perbedaan fungsional: Amazon DocumentDB dan MongoDB untuk memaksimalkan potensi database Anda.

Amazon DocumentDB tidak mendukung semua indeks yang ditawarkan oleh MongoDB. Kami menyediakan alat indeks gratis untuk memeriksa kompatibilitas. Jalankan alat indeks untuk menilai ketidakcocokan dan merencanakan solusi yang sesuai.

Alat penilaian kompatibilitas Amazon DocumentDB

Alat Kompati bilitas MongoDB ke Amazon DocumentDB adalah utilitas sumber terbuka yang tersedia untuk membantu mengevaluasi kompatibilitas beban kerja MongoDB dengan Amazon DocumentDB dengan menganalisis log MongoDB atau kode sumber aplikasi. GitHub

Fitur utama

Metode penilaian

Log-based penilaian

Analisis kode sumber

Untuk hasil terbaik, gunakan kedua metode penilaian bila memungkinkan untuk mendapatkan gambaran lengkap tentang tantangan kompatibilitas sebelum migrasi.

Penemuan beban kerja

Migrasi dari MongoDB ke Amazon DocumentDB memerlukan pemahaman menyeluruh tentang beban kerja database yang ada. Penemuan beban kerja adalah proses menganalisis pola penggunaan database, struktur data, kinerja kueri, dan dependensi operasional untuk memastikan transisi yang mulus dengan gangguan minimal. Bagian ini menguraikan langkah-langkah utama yang terlibat dalam penemuan beban kerja untuk memfasilitasi migrasi yang efektif dari MongoDB ke Amazon DocumentDB.

Menilai penerapan MongoDB yang ada

Sebelum migrasi, sangat penting untuk mengevaluasi lingkungan MongoDB saat ini, termasuk:

Mengidentifikasi perbedaan model data

Meskipun Amazon DocumentDB ada MongoDB-compatible, ada perbedaan dalam fitur yang didukung, seperti:

Analisis kueri dan kinerja

Memahami perilaku kueri membantu mengoptimalkan kinerja migrasi dan pasca-migrasi. Area utama untuk dianalisis meliputi:

Tinjauan keamanan dan kontrol akses

Otentikasi dan otorisasi

Enkripsi

Pastikan enkripsi saat diam dan dalam transit selaras dengan persyaratan kepatuhan.

Konfigurasi jaringan

Rencanakan pengaturan Virtual Private Cloud (VPC) dan aturan grup keamanan.

Pertimbangan operasional dan pemantauan

Untuk menjaga keandalan sistem, penemuan beban kerja juga harus mencakup:

Migrasi indeks

Migrasi dari MongoDB ke Amazon DocumentDB melibatkan transfer tidak hanya data tetapi juga indeks untuk mempertahankan kinerja kueri dan mengoptimalkan operasi database. Bagian ini menguraikan proses langkah demi langkah terperinci untuk memigrasi indeks dari MongoDB ke Amazon DocumentDB sambil memastikan kompatibilitas dan efisiensi.

Menggunakan alat indeks Amazon DocumentDB

Mengkloning alat indeks

git clone https://github.com/awslabs/amazon-documentdb-tools.git
cd amazon-documentdb-tools/index-tool

pip install -r requirements.txt

Ekspor indeks dari MongoDB (jika bermigrasi dari MongoDB)

python3 migrationtools/documentdb_index_tool.py --dump-indexes --dir mongodb_index_export --uri
'mongodb://localhost:27017'

Ekspor indeks dari Amazon DocumentDB (jika bermigrasi dari Amazon DocumentDB)

python3 migrationtools/documentdb_index_tool.py --dump-indexes --dir docdb_index_export --uri
'mongodb://user:password@mydocdb.cluster-cdtjj00yfi95.eu-west-
2.docdb.amazonaws.com:27017/?tls=true&tlsCAFile=rds-combined-ca-
bundle.pem&replicaSet=rs0&retryWrites=false'

Impor indeks

python3 migrationtools/documentdb_index_tool.py --restore-indexes --skip-incompatible --dir
mongodb_index_export --uri 'mongodb://user:password@mydocdb.cluster-cdtjj00yfi95.eu-west-
2.docdb.amazonaws.com:27017/?tls=true&tlsCAFile=rds-combined-ca-
bundle.pem&replicaSet=rs0&retryWrites=false'

Verifikasi indeks

python3 migrationtools/documentdb_index_tool.py --show-issues --dir mongodb_index_export

Migrasi pengguna

Memigrasi pengguna dari MongoDB ke Amazon DocumentDB sangat penting untuk menjaga kontrol akses, otentikasi, dan keamanan database. Bagian ini menguraikan langkah-langkah terperinci untuk berhasil memigrasi pengguna MongoDB sambil mempertahankan peran dan izin mereka menggunakan alat pengguna ekspor Amazon DocumentDB.

Menggunakan alat pengguna ekspor Amazon DocumentDB

Meng Export Users tool ekspor pengguna dan peran dari MongoDB atau Amazon DocumentDB ke JavaScript file, yang kemudian dapat digunakan untuk membuat ulang mereka di cluster lain.

Prasyarat

# Clone the repository
git clone https://github.com/awslabs/amazon-documentdb-tools.git
cd amazon-documentdb-tools/migration/export-users

# Install required dependencies
pip install pymongo

Langkah 1: Ekspor pengguna dan peran

# Export users and roles to JavaScript files
python3 docdbExportUsers.py \
--users-file mongodb-users.js \
--roles-file mongodb-roles.js \
--uri "mongodb://admin:password@source-host:27017/"

Langkah 2: Edit File Pengguna

// Example of how to update the users.js file
// Find each user creation statement and add the password
db.getSiblingDB("admin").createUser({
user: "appuser",
// Add password here
pwd: "newpassword",
roles: [
{ role: "readWrite", db: "mydb" }
]
})

Langkah 3: Kembalikan Peran Kustom ke Amazon DocumentDB

# Import roles first
mongo --ssl \
--host target-host:27017 \
--sslCAFile rds-combined-ca-bundle.pem \
--username admin \
--password password \
mongodb-roles.js

Langkah 4: Kembalikan Pengguna ke Amazon DocumentDB

# Import users after roles are created
mongo --ssl \
--host target-host:27017 \
--sslCAFile rds-combined-ca-bundle.pem \
--username admin \
--password password \
mongodb-users.js

Catatan penting

Metode ini menyediakan pendekatan yang aman dan fleksibel untuk memigrasikan pengguna dan peran dari MongoDB ke Amazon DocumentDB sambil memungkinkan pengaturan ulang kata sandi selama proses migrasi.

Migrasi data

Migrasi online

Bagian ini memberikan langkah-langkah terperinci untuk melakukan migrasi online dari MongoDB ke Amazon DocumentDB menggunakan AWS DMS untuk mengaktifkan downtime minimal dan replikasi berkelanjutan. Untuk memulai, Anda menyiapkan cluster Amazon DocumentDB sebagai target dan memastikan instans MongoDB Anda dikonfigurasi dengan benar sebagai sumber, biasanya memerlukan mode set replika untuk pengambilan data perubahan. Selanjutnya, Anda membuat instance replikasi DMS dan menentukan titik akhir sumber dan target dengan detail koneksi yang diperlukan. Setelah memvalidasi titik akhir, Anda mengonfigurasi dan memulai tugas migrasi yang dapat mencakup beban data penuh, replikasi yang sedang berlangsung, atau keduanya.

Konfigurasikan target (Amazon DocumentDB)

Buat grup parameter kustom

Lihat AWS CLI prosedur Konsol Manajemen AWS atau diMembuat grup parameter cluster Amazon DocumentDB.

Membuat cluster Amazon DocumentDB

Konfigurasikan sumber

MongoDB dan Amazon DocumentDB keduanya dapat berfungsi sebagai sumber migrasi, tergantung pada skenario Anda:

Sebelum memulai migrasi, konfigurasikan sumber Anda untuk mengizinkan AWS DMS akses.

Buat pengguna MongoDB dengan izin yang tepat:

db.createUser({
user: "dmsUser",
pwd: "yourSecurePassword",
roles: [{ role: "readAnyDatabase", db: "admin" }]
})

Konfigurasikan jaringan dan otentikasi.

Saat mengonfigurasi konektivitas jaringan untuk migrasi MongoDB ke DMS:

EC2-hosted Sumber MongoDB

On-premises Sumber MongoDB

Sumber MongoDB Atlas

Sumber Amazon DocumentDB

Konfigurasikan grup keamanan Amazon DocumentDB sumber Anda untuk mengizinkan lalu lintas masuk dari grup keamanan instans replikasi DMS.

Buat instance replikasi DMS

Gunakan DMS Buddy untuk menyediakan infrastruktur DMS Anda. Ini menciptakan infrastruktur migrasi yang optimal dengan pengaturan DMS yang optimal dan ukuran instance.

Jika Anda lebih suka mengkonfigurasi secara manual, ikuti langkah-langkah ini:

Buat titik akhir DMS

Buat titik akhir sumber

Untuk sumber MongoDB

Untuk sumber Amazon DocumentDB

Membuat titik akhir target (Amazon DocumentDB)

Buat tugas replikasi

Migrasi offline

Bagian ini menguraikan proses untuk melakukan migrasi offline dari instance MongoDB yang dikelola sendiri ke Amazon DocumentDB menggunakan alat asli MongoDB: dan. mongodump mongorestore

Prasyarat

Persyaratan sumber MongoDB

Targetkan persyaratan Amazon DocumentDB

Persyaratan umum

Mempersiapkan cluster Amazon DocumentDB

Buat cluster Amazon DocumentDB di: AWS

Lakukan dump data (mongodump)

Pilih salah satu opsi berikut untuk membuat file dump:

Mentransfer file dump ke lingkungan restorasi

Pilih metode yang sesuai berdasarkan ukuran dump Anda:

Kembalikan data ke Amazon DocumentDB (mongorestore)

Sebelum memulai proses pemulihan, buat indeks di Amazon DocumentDB. Anda dapat menggunakan alat Indeks Amazon DocumentDB untuk mengekspor dan mengimpor indeks.

Pilih salah satu opsi berikut untuk memulihkan data:

Memantau

Bagian ini menyediakan proses pemantauan terperinci untuk melacak kemajuan, kinerja, dan kesehatan migrasi yang sedang berlangsung dari:

MongoDB para Amazon DocumentDB

atau

Amazon DocumentDB para Amazon DocumentDB

Langkah-langkah pemantauan berlaku terlepas dari metode migrasi (AWS DMS mongodump/mongorestore,, atau alat lainnya).

AWS DMS Pemantauan migrasi (jika berlaku)

Pantau CloudWatch metrik utama berikut:

Metrik fase beban penuh

Metrik fase CDC

Metrik sumber daya

Metrik kesalahan

Buat CloudWatch alarm untuk metrik penting seperti CDCLatencyTarget dan CPUUtilization untuk menerima pemberitahuan jika kinerja migrasi menurun.

Log DMS (CloudWatch log)

Status tugas DMS (menggunakan AWS CLI)

aws dms describe-replication-tasks --filters Name=replication-task id,Values=<task_id> --query
"ReplicationTasks[0].Status"

Alur status yang diharapkan:

membuat → siap → berjalan → berhenti → berhenti (atau gagal)

Memantau menggunakan docdb-dashboarder

docdb-dashboarderAlat ini menyediakan pemantauan komprehensif untuk cluster Amazon DocumentDB dengan secara otomatis membuat CloudWatch dasbor dengan metrik kinerja penting. Dasbor ini menampilkan metrik tingkat cluster penting (lag replika, penghitung operasi), metrik tingkat instance (CPU, memori, koneksi), dan metrik penyimpanan (penggunaan volume, penyimpanan cadangan). Untuk skenario migrasi, alat ini menawarkan dasbor khusus yang melacak kemajuan migrasi dengan metrik seperti jeda replikasi CDC dan tingkat operasi. Dasbor dapat memantau beberapa cluster secara bersamaan dan menyertakan dukungan untuk NVMe-backed instance. Dengan memvisualisasikan metrik ini, tim dapat secara proaktif mengidentifikasi hambatan kinerja, mengoptimalkan alokasi sumber daya, dan memastikan kelancaran pengoperasian penerapan Amazon DocumentDB mereka. Alat ini menghilangkan kebutuhan untuk pembuatan dasbor manual sambil memberikan pemantauan yang konsisten di semua lingkungan. Untuk petunjuk penyiapan dan opsi konfigurasi lanjutan, lihat repositori Alat Dasbor Amazon DocumentDB. GitHub

Validasi

Bagian ini menyediakan proses validasi terperinci untuk memastikan konsistensi data, integritas, dan kompatibilitas aplikasi setelah bermigrasi dari:

MongoDB para Amazon DocumentDB

atau

Amazon DocumentDB para Amazon DocumentDB

Langkah-langkah validasi berlaku terlepas dari metode migrasi (AWS DMS, mongodump/mongorestore, atau alat lainnya).

Daftar periksa validasi

Pastikan jumlah dokumen di setiap koleksi cocok antara sumber dan target:

Sumber MongoDB

mongo --host <source_host> --port <port> --username <user> -- password <password> --eval
"db.<collection>.count()"

Target Amazon DocumentDB

mongo --host <target_host> --port <port> --username <user> -- password <password> --eval
"db.<collection>.count()"

Validasi skema dan indeks

Pastikan bahwa:

Periksa koleksi (sumber vs target)

mongo --host <source_host> --eval "show collections"
mongo --host <target_host> --ssl --eval "show collections"

periksa indeks (Sumber vs Target)

mongo --host <source_host> --eval" db.<collection>.getIndexes()"
mongo --host <target_host> --ssl –eval" db.<collection>.getIndexes()"

Bandingkan daftar koleksi untuk memastikan tidak ada koleksi yang hilang atau tambahan.

Verifikasi indeks dengan memeriksa nama indeks, definisi kunci, batasan unik, dan indeks TTL (jika ada).

Periksa aturan validasi skema (jika menggunakan validasi skema di MongoDB)

mongo --host <source_host> --eval" db.getCollectionInfos({name: '<collection>'})
[0].options.validator"
   mongo --host <target_host> --ssl –eval" db.getCollectionInfos({name: '<collection>'})[0].options.validator"

Pengambilan sampel data dan validasi tingkat lapangan

Anda dapat mengambil sampel dokumen secara acak dan membandingkan bidang antara sumber dan target.

Pengambilan sampel manual

Ambil lima dokumen acak (sumber):

mongo --host <source_host> --eval "db.<collection>.aggregate([{ \$sample: { size: 5 } }])"

Ambil ID dokumen yang sama (target):

mongo --host <target_host> --ssl –eval "db.<collection>.find({ _id: { \$in: [<list_of_ids>] } })"

Pengambilan sampel otomatis

import pymongo
# Connect to source and target
source_client = pymongo.MongoClient("<source_uri>")
target_client = pymongo.MongoClient("<target_uri>", ssl=True)
source_db = source_client["<db_name>"]
target_db = target_client["<db_name>"]
# Compare 100 random documents
for doc in source_db.<collection>.aggregate([{ "$sample":
{ "size": 100 } }]):
target_doc = target_db.<collection>.find_one({ "_id":
doc["_id"] })
if target_doc != doc:
print(f"❌ Mismatch in _id: {doc['_id']}")
else:
print(f"✅ Match: {doc['_id']}")

Validasi menggunakan DataDiffer alat

DataDiffer Alat ini menyediakan cara yang andal untuk membandingkan data antara basis data sumber dan target.

Prasyarat

Prasyarat berikut harus dipenuhi sebelum menginstal DataDiffer alat:

Penyiapan dan instalasi

Kloning repositori dan arahkan ke DataDiffer direktori

git clone https://github.com/awslabs/amazon-documentdb-tools.git
cd amazon-documentdb-tools/migration/data-differ

Instal dependensi yang diperlukan

pip install -r requirements.txt

Menjalankan validasi data

Buat file konfigurasi (mis., config.json) dengan detail koneksi

{
"source": {
"uri": "mongodb://username:password@source-mongodb-
host:27017/?replicaSet=rs0",
"db": "your_database",
"collection": "your_collection"
},
"target": {
"uri": "mongodb://username:password@target-docdb-
cluster.region.docdb.amazonaws.com:27017/?tls=true&tlsCAFile=global-
bundle.pem&replicaSet=rs0",
"db": "your_database",
"collection": "your_collection"
},
"options": {
"batch_size": 1000,
"threads": 4,
"sample_size": 0,
"verbose": true
}
}

Jalankan DataDiffer alat

python differ.py --config config.json

Untuk koleksi besar, gunakan sampling untuk memvalidasi subset data

python differ.py --config config.json --sample-size 10000

Untuk memvalidasi beberapa koleksi, buat file konfigurasi terpisah atau gunakan mode batch

python differ.py --batch-config batch_config.json

Menafsirkan hasil

Alat ini akan menghasilkan:

Praktik terbaik

Berikut ini adalah praktik terbaik saat menggunakan DataDiffer alat ini: