Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Runbook sulla migrazione di Amazon DocumentDB

Questo runbook fornisce una guida completa per la migrazione di un database MongoDB su Amazon DocumentDB utilizzando (DMS). AWS Database Migration Service È progettato per supportare amministratori di database, ingegneri del cloud e sviluppatori durante tutto il percorso di migrazione end-to-end, dalla scoperta iniziale alla convalida post-migrazione.

Date le differenze di implementazione e funzionalità supportate tra MongoDB e Amazon DocumentDB, questo runbook enfatizza un approccio strutturato e sistematico. Descrive le valutazioni essenziali prima della migrazione, evidenzia le considerazioni sulla compatibilità e descrive in dettaglio le attività chiave necessarie per garantire una migrazione di successo con interruzioni minime.

Il runbook è organizzato nei seguenti argomenti:

Seguendo le indicazioni contenute in questo runbook, i team possono garantire una transizione fluida, sicura ed efficiente ad Amazon DocumentDB, preservando al contempo la funzionalità delle applicazioni e riducendo al minimo i rischi.

Compatibilità

Quando si esegue la migrazione da MongoDB ad Amazon DocumentDB, una valutazione iniziale approfondita e un controllo della compatibilità delle funzionalità sono essenziali per una migrazione di successo. Questo processo inizia con un inventario completo delle funzionalità di MongoDB, inclusi operatori di pipeline di aggregazione, modelli di query, indici e modelli di dati.

Poiché Amazon DocumentDB è compatibile con le API MongoDB 3.6, 4.0, 5.0 e 8.0, le applicazioni che utilizzano funzionalità più recenti potrebbero richiedere il refactoring. MongoDB-specific Le aree critiche da valutare includono i meccanismi di sharding (Amazon DocumentDB utilizza un approccio diverso), le implementazioni delle transazioni, le funzionalità dei flussi di modifiche e i tipi di indici (in particolare gli indici sparsi e parziali).

Anche le caratteristiche prestazionali sono diverse, con Amazon DocumentDB ottimizzato per carichi di lavoro aziendali con prestazioni prevedibili. I test dovrebbero comportare l'esecuzione di carichi di lavoro rappresentativi su entrambi i sistemi per identificare i modelli di query che potrebbero richiedere l'ottimizzazione.

Il monitoraggio dei piani di esecuzione per rilevare potenziali lacune prestazionali è importante durante la fase di valutazione. Questo aiuta a creare una chiara tabella di marcia per la migrazione, a identificare le modifiche necessarie alle applicazioni e a stabilire tempistiche realistiche per una transizione senza intoppi.

Compatibilità delle funzionalità principali

Supporto completo delle funzionalità

Migliorate AWS-funzionalità integrate

Vantaggi dell'architettura moderna

Per una panoramica completa delle funzionalità di Amazon DocumentDB, consulta API, operazioni e tipi di dati MongoDB supportati in Amazon DocumentDB e per Differenze funzionali: Amazon DocumentDB e MongoDB massimizzare il potenziale del database.

Amazon DocumentDB non supporta tutti gli indici offerti da MongoDB. Forniamo uno strumento di indicizzazione gratuito per verificare la compatibilità. Esegui lo strumento di indicizzazione per valutare l'incompatibilità e pianificare le soluzioni alternative di conseguenza.

Strumento di valutazione della compatibilità di Amazon DocumentDB

Lo strumento di compatibilità tra MongoDB e Amazon DocumentDB è un'utilità open source disponibile su GitHub che aiuta a valutare la compatibilità dei carichi di lavoro di MongoDB con Amazon DocumentDB analizzando i log di MongoDB o il codice sorgente dell'applicazione.

Caratteristiche principali

Metodi di valutazione

Log-based valutazione

Analisi del codice sorgente

Per ottenere risultati ottimali, utilizza entrambi i metodi di valutazione, quando possibile, per avere un quadro completo dei problemi di compatibilità prima della migrazione.

Rilevamento dei carichi di lavoro

La migrazione da MongoDB ad Amazon DocumentDB richiede una conoscenza approfondita del carico di lavoro del database esistente. Il rilevamento del carico di lavoro è il processo di analisi dei modelli di utilizzo del database, delle strutture dei dati, delle prestazioni delle query e delle dipendenze operative per garantire una transizione senza interruzioni con interruzioni minime. Questa sezione illustra i passaggi chiave coinvolti nell'individuazione dei carichi di lavoro per facilitare una migrazione efficace da MongoDB ad Amazon DocumentDB.

Valutazione della distribuzione MongoDB esistente

Prima della migrazione, è fondamentale valutare l'attuale ambiente MongoDB, tra cui:

Identificazione delle differenze tra i modelli di dati

Sebbene Amazon DocumentDB lo sia MongoDB-compatible, ci sono differenze nelle funzionalità supportate, come:

Analisi delle query e delle prestazioni

La comprensione del comportamento delle query aiuta a ottimizzare le prestazioni di migrazione e post-migrazione. Le aree chiave da analizzare includono:

Revisione della sicurezza e del controllo degli accessi

Autenticazione e autorizzazione

Encryption (Crittografia)

Garantisci che la crittografia a riposo e in transito sia in linea con i requisiti di conformità.

Configurazione della rete

Pianifica la configurazione del Virtual Private Cloud (VPC) e le regole del gruppo di sicurezza.

Considerazioni operative e di monitoraggio

Per mantenere l'affidabilità del sistema, l'individuazione dei carichi di lavoro dovrebbe includere anche:

Migrazione dell'indice

La migrazione da MongoDB ad Amazon DocumentDB comporta il trasferimento non solo di dati ma anche di indici per mantenere le prestazioni delle query e ottimizzare le operazioni del database. Questa sezione illustra la procedura dettagliata e dettagliata per la migrazione degli indici da MongoDB ad Amazon DocumentDB garantendo al contempo compatibilità ed efficienza.

Utilizzo dello strumento di indicizzazione Amazon DocumentDB

Clona lo strumento di indicizzazione https://github.com/awslabs/amazon-documentdb-tools/blob/master/index-tool/README.md

git clone https://github.com/awslabs/amazon-documentdb-tools.git
cd amazon-documentdb-tools/index-tool

pip install -r requirements.txt

Esporta gli indici da MongoDB (se stai migrando da MongoDB)

python3 migrationtools/documentdb_index_tool.py --dump-indexes --dir mongodb_index_export --uri
'mongodb://localhost:27017'

Esporta gli indici da Amazon DocumentDB (in caso di migrazione da Amazon DocumentDB)

python3 migrationtools/documentdb_index_tool.py --dump-indexes --dir docdb_index_export --uri
'mongodb://user:password@mydocdb.cluster-cdtjj00yfi95.eu-west-
2.docdb.amazonaws.com:27017/?tls=true&tlsCAFile=rds-combined-ca-
bundle.pem&replicaSet=rs0&retryWrites=false'

Importa indici

python3 migrationtools/documentdb_index_tool.py --restore-indexes --skip-incompatible --dir
mongodb_index_export --uri 'mongodb://user:password@mydocdb.cluster-cdtjj00yfi95.eu-west-
2.docdb.amazonaws.com:27017/?tls=true&tlsCAFile=rds-combined-ca-
bundle.pem&replicaSet=rs0&retryWrites=false'

Verifica gli indici

python3 migrationtools/documentdb_index_tool.py --show-issues --dir mongodb_index_export

Migrazione degli utenti

La migrazione degli utenti da MongoDB ad Amazon DocumentDB è essenziale per mantenere il controllo degli accessi, l'autenticazione e la sicurezza del database. Questa sezione descrive i passaggi dettagliati per migrare con successo gli utenti MongoDB preservandone i ruoli e le autorizzazioni utilizzando lo strumento di esportazione per gli utenti di Amazon DocumentDB.

Utilizzo dello strumento di esportazione degli utenti di Amazon DocumentDB

Export Users toolEsporta utenti e ruoli da MongoDB o Amazon DocumentDB in JavaScript file, che possono quindi essere utilizzati per ricrearli in un altro cluster.

Prerequisiti

# Clone the repository
git clone https://github.com/awslabs/amazon-documentdb-tools.git
cd amazon-documentdb-tools/migration/export-users

# Install required dependencies
pip install pymongo

Fase 1: Esportazione di utenti e ruoli

# Export users and roles to JavaScript files
python3 docdbExportUsers.py \
--users-file mongodb-users.js \
--roles-file mongodb-roles.js \
--uri "mongodb://admin:password@source-host:27017/"

Passaggio 2: modifica il file degli utenti

// Example of how to update the users.js file
// Find each user creation statement and add the password
db.getSiblingDB("admin").createUser({
user: "appuser",
// Add password here
pwd: "newpassword",
roles: [
{ role: "readWrite", db: "mydb" }
]
})

Passaggio 3: ripristino dei ruoli personalizzati in Amazon DocumentDB

# Import roles first
mongo --ssl \
--host target-host:27017 \
--sslCAFile rds-combined-ca-bundle.pem \
--username admin \
--password password \
mongodb-roles.js

Fase 4: ripristinare gli utenti su Amazon DocumentDB

# Import users after roles are created
mongo --ssl \
--host target-host:27017 \
--sslCAFile rds-combined-ca-bundle.pem \
--username admin \
--password password \
mongodb-users.js

Note importanti

Questo metodo fornisce un approccio sicuro e flessibile alla migrazione di utenti e ruoli da MongoDB ad Amazon DocumentDB, consentendo al contempo la reimpostazione delle password durante il processo di migrazione.

Migrazione dei dati

Migrazione online

Questa sezione fornisce passaggi dettagliati per eseguire una migrazione online da MongoDB ad Amazon DocumentDB utilizzando per AWS DMS abilitare tempi di inattività minimi e una replica continua. Per iniziare, configuri un cluster Amazon DocumentDB come destinazione e assicurati che l'istanza MongoDB sia configurata correttamente come origine, in genere richiedendo la modalità di set di repliche per l'acquisizione dei dati di modifica. Successivamente, crei un'istanza di replica DMS e definisci gli endpoint di origine e di destinazione con i dettagli di connessione necessari. Dopo aver convalidato gli endpoint, si configura e si avvia un'attività di migrazione che può includere il caricamento completo dei dati, la replica continua o entrambi.

Configura la destinazione (Amazon DocumentDB)

Crea un gruppo di parametri personalizzato

Consulta le AWS CLI procedure Console di gestione AWS or inCreazione di gruppi di parametri del cluster Amazon DocumentDB.

Crea un cluster Amazon DocumentDB

Configurare la fonte

MongoDB e Amazon DocumentDB possono entrambi fungere da fonti di migrazione, a seconda dello scenario:

Prima di iniziare la migrazione, configura la fonte per consentire AWS DMS l'accesso.

Crea un utente MongoDB con le autorizzazioni appropriate:

db.createUser({
user: "dmsUser",
pwd: "yourSecurePassword",
roles: [{ role: "readAnyDatabase", db: "admin" }]
})

Configura rete e autenticazione.

Quando si configura la connettività di rete per la migrazione da MongoDB a DMS:

EC2-hosted Fonte MongoDB

On-premises Fonte MongoDB

Fonte MongoDB Atlas

Fonte Amazon DocumentDB

Configura il gruppo di sicurezza Amazon DocumentDB di origine per consentire il traffico in entrata dal gruppo di sicurezza dell'istanza di replica DMS.

Crea un'istanza di replica DMS

Usa DMS Buddy per eseguire il provisioning della tua infrastruttura DMS. Crea un'infrastruttura di migrazione ottimale con impostazioni DMS e dimensioni delle istanze ottimali.

Se preferisci configurare manualmente, segui questi passaggi:

Crea endpoint DMS

Crea un endpoint di origine

Per una fonte MongoDB

Per una fonte Amazon DocumentDB

Crea un endpoint di destinazione (Amazon DocumentDB)

Crea attività di replica

Migrazione offline

Questa sezione descrive il processo per eseguire una migrazione offline da un'istanza MongoDB autogestita ad Amazon DocumentDB utilizzando strumenti MongoDB nativi: e. mongodump mongorestore

Prerequisiti

Requisiti MongoDB di origine

Requisiti di Amazon DocumentDB target

Requisiti generali

Prepara un cluster Amazon DocumentDB

Crea un cluster Amazon DocumentDB in: AWS

Esegui il dump dei dati (mongodump)

Scegli una delle seguenti opzioni per creare un file di dump:

Trasferisci i file di dump nell'ambiente di ripristino

Scegliete un metodo appropriato in base alle dimensioni del dump:

Ripristina i dati su Amazon DocumentDB (mongorestore)

Prima di iniziare il processo di ripristino, crea gli indici in Amazon DocumentDB. Puoi utilizzare lo strumento Amazon DocumentDB Index per esportare e importare indici.

Scegli una delle seguenti opzioni per ripristinare i dati:

Monitoraggio

Questa sezione fornisce un processo di monitoraggio dettagliato per tracciare l'avanzamento, le prestazioni e lo stato di una migrazione in corso da:

Da MongoDB ad Amazon DocumentDB

or

Da Amazon DocumentDB ad Amazon DocumentDB

Le fasi di monitoraggio si applicano indipendentemente dal metodo di migrazione (AWS DMS, mongodump/mongorestore, o altri strumenti).

AWS DMS Monitoraggio della migrazione (se applicabile)

Monitora le seguenti CloudWatch metriche chiave:

Metriche relative alla fase di carico completo

Metriche di fase CDC

Metriche relative alle risorse

Metriche di errore

Crea CloudWatch allarmi per metriche critiche, CPUUtilization ad esempio CDCLatencyTarget per ricevere notifiche se le prestazioni della migrazione peggiorano.

Log DMS (log) CloudWatch

stato dell'attività DMS (utilizzando AWS CLI)

aws dms describe-replication-tasks --filters Name=replication-task id,Values=<task_id> --query
"ReplicationTasks[0].Status"

Flusso di stato previsto:

creazione → pronto → in esecuzione → arresto → interrotto (o fallito)

Monitora usando docdb-dashboarder

Lo docdb-dashboarder strumento fornisce un monitoraggio completo per i cluster Amazon DocumentDB generando automaticamente dashboard con metriche prestazionali essenziali. CloudWatch Queste dashboard mostrano metriche critiche a livello di cluster (ritardo di replica, contatori delle operazioni), metriche a livello di istanza (CPU, memoria, connessioni) e metriche di archiviazione (utilizzo del volume, archiviazione di backup). Per gli scenari di migrazione, lo strumento offre dashboard specializzate che tengono traccia dell'avanzamento della migrazione con metriche come il ritardo di replica CDC e i tassi operativi. Le dashboard possono monitorare più cluster contemporaneamente e includere il supporto per le istanze. NVMe-backed Visualizzando queste metriche, i team possono identificare in modo proattivo i colli di bottiglia nelle prestazioni, ottimizzare l'allocazione delle risorse e garantire il corretto funzionamento delle distribuzioni di Amazon DocumentDB. Lo strumento elimina la necessità della creazione manuale di dashboard fornendo al contempo un monitoraggio coerente in tutti gli ambienti. Per istruzioni di configurazione e opzioni di configurazione avanzate, consulta il repository Amazon DocumentDB Dashboarder Tool. GitHub

Convalida

Questa sezione fornisce un processo di convalida dettagliato per garantire la coerenza, l'integrità e la compatibilità delle applicazioni dei dati dopo la migrazione da:

Da MongoDB ad Amazon DocumentDB

or

Da Amazon DocumentDB ad Amazon DocumentDB

Le fasi di convalida si applicano indipendentemente dal metodo di migrazione (AWS DMS, mongodump/mongorestore, o altri strumenti).

Lista di controllo per la convalida

Verifica che il numero di documenti in ogni raccolta corrisponda tra origine e destinazione:

Fonte MongoDB

mongo --host <source_host> --port <port> --username <user> -- password <password> --eval
"db.<collection>.count()"

Obiettivo Amazon DocumentDB

mongo --host <target_host> --port <port> --username <user> -- password <password> --eval
"db.<collection>.count()"

Convalida dello schema e dell'indice

Verifica che:

Controlla le raccolte (origine e destinazione)

mongo --host <source_host> --eval "show collections"
mongo --host <target_host> --ssl --eval "show collections"

controlla gli indici (sorgente e destinazione)

mongo --host <source_host> --eval" db.<collection>.getIndexes()"
mongo --host <target_host> --ssl –eval" db.<collection>.getIndexes()"

Confronta l'elenco delle raccolte per assicurarti che non vi siano raccolte mancanti o aggiuntive.

Verifica gli indici controllando i nomi degli indici, le definizioni delle chiavi, i vincoli univoci e gli indici TTL (se presenti).

Controlla le regole di convalida dello schema (se usi la convalida dello schema in MongoDB)

mongo --host <source_host> --eval" db.getCollectionInfos({name: '<collection>'})
[0].options.validator"
   mongo --host <target_host> --ssl –eval" db.getCollectionInfos({name: '<collection>'})[0].options.validator"

Campionamento dei dati e convalida a livello di campo

È possibile campionare i documenti in modo casuale e confrontare i campi tra origine e destinazione.

Campionamento manuale

Recupera cinque documenti a caso (fonte):

mongo --host <source_host> --eval "db.<collection>.aggregate([{ \$sample: { size: 5 } }])"

Recupera gli stessi ID del documento (destinazione):

mongo --host <target_host> --ssl –eval "db.<collection>.find({ _id: { \$in: [<list_of_ids>] } })"

Campionamento automatico

import pymongo
# Connect to source and target
source_client = pymongo.MongoClient("<source_uri>")
target_client = pymongo.MongoClient("<target_uri>", ssl=True)
source_db = source_client["<db_name>"]
target_db = target_client["<db_name>"]
# Compare 100 random documents
for doc in source_db.<collection>.aggregate([{ "$sample":
{ "size": 100 } }]):
target_doc = target_db.<collection>.find_one({ "_id":
doc["_id"] })
if target_doc != doc:
print(f"❌ Mismatch in _id: {doc['_id']}")
else:
print(f"✅ Match: {doc['_id']}")

Validazione tramite strumento DataDiffer

Lo DataDiffer strumento fornisce un modo affidabile per confrontare i dati tra database di origine e di destinazione.

Prerequisiti

I seguenti prerequisiti devono essere soddisfatti prima di installare lo DataDiffer strumento:

Configurazione e installazione

Clona il repository e accedi alla directory DataDiffer

git clone https://github.com/awslabs/amazon-documentdb-tools.git
cd amazon-documentdb-tools/migration/data-differ

Installa le dipendenze richieste

pip install -r requirements.txt

Convalida dei dati in esecuzione

Crea un file di configurazione (ad esempio, config.json) con i dettagli della connessione

{
"source": {
"uri": "mongodb://username:password@source-mongodb-
host:27017/?replicaSet=rs0",
"db": "your_database",
"collection": "your_collection"
},
"target": {
"uri": "mongodb://username:password@target-docdb-
cluster.region.docdb.amazonaws.com:27017/?tls=true&tlsCAFile=global-
bundle.pem&replicaSet=rs0",
"db": "your_database",
"collection": "your_collection"
},
"options": {
"batch_size": 1000,
"threads": 4,
"sample_size": 0,
"verbose": true
}
}

Esegui lo strumento DataDiffer

python differ.py --config config.json

Per raccolte di grandi dimensioni, utilizza il campionamento per convalidare un sottoinsieme di dati

python differ.py --config config.json --sample-size 10000

Per convalidare più raccolte, create file di configurazione separati o utilizzate la modalità batch

python differ.py --batch-config batch_config.json

Interpretazione dei risultati

Lo strumento produrrà:

Best practice

Di seguito sono riportate le migliori pratiche per l'utilizzo dello DataDiffer strumento: