Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Amazon DocumentDB-Migrationsrunbook

Dieses Runbook bietet eine umfassende Anleitung für die Migration einer MongoDB-Datenbank zu Amazon DocumentDB mithilfe von (DMS). AWS Database Migration Service Es wurde entwickelt, um Datenbankadministratoren, Cloud-Ingenieure und Entwickler während des gesamten Migrationsprozesses zu unterstützen — von der ersten Erkennung bis zur Validierung nach der Migration.

Angesichts der Unterschiede in der Implementierung und den unterstützten Funktionen zwischen MongoDB und Amazon DocumentDB betont dieses Runbook einen strukturierten und systematischen Ansatz. Es beschreibt wichtige Bewertungen vor der Migration, hebt Kompatibilitätsaspekte hervor und beschreibt die wichtigsten Aufgaben, die für eine erfolgreiche Migration mit minimalen Unterbrechungen erforderlich sind.

Das Runbook ist in die folgenden Themen gegliedert:

Indem die Teams die Anweisungen in diesem Runbook befolgen, können sie einen reibungslosen, sicheren und effizienten Übergang zu Amazon DocumentDB sicherstellen und gleichzeitig die Anwendungsfunktionalität beibehalten und Risiken minimieren.

Kompatibilität

Bei der Migration von MongoDB zu Amazon DocumentDB sind eine gründliche Erstbewertung und Überprüfung der Funktionskompatibilität für eine erfolgreiche Migration unerlässlich. Dieser Prozess beginnt mit einer umfassenden Bestandsaufnahme Ihrer MongoDB-Funktionen, einschließlich Aggregationspipeline-Operatoren, Abfragemustern, Indizes und Datenmodellen.

Da Amazon DocumentDB mit den MongoDB-APIs 3.6, 4.0, 5.0 und 8.0 kompatibel ist, müssen Anwendungen, die neuere MongoDB-specific Funktionen verwenden, möglicherweise überarbeitet werden. Zu den kritischen Bereichen, die bewertet werden müssen, gehören Sharding-Mechanismen (Amazon DocumentDB verwendet einen anderen Ansatz), Transaktionsimplementierungen, Change-Stream-Funktionen und Indextypen (insbesondere spärliche und partielle Indizes).

Die Leistungsmerkmale unterscheiden sich ebenfalls. Amazon DocumentDB ist für Unternehmens-Workloads mit vorhersehbarer Leistung optimiert. Bei den Tests sollten repräsentative Workloads auf beiden Systemen ausgeführt werden, um Abfragemuster zu identifizieren, die möglicherweise optimiert werden müssen.

Während der Bewertungsphase ist es wichtig, die Ausführungspläne zu überwachen, um potenzielle Leistungslücken zu erkennen. Dies hilft dabei, einen klaren Migrationsplan zu erstellen, notwendige Anwendungsänderungen zu identifizieren und realistische Zeitpläne für einen reibungslosen Übergang festzulegen.

Kompatibilität der wichtigsten Funktionen

Umfassende Unterstützung von Funktionen

Verbessert AWS-integrierte Funktionen

Vorteile einer modernen Architektur

Einen umfassenden Überblick über die Funktionen von Amazon DocumentDB finden Sie unter Unterstützte MongoDB-APIs, Operationen und Datentypen in Amazon DocumentDB und Funktionale Unterschiede: Amazon DocumentDB und MongoDB zur Maximierung des Potenzials Ihrer Datenbank.

Amazon DocumentDB unterstützt nicht alle von MongoDB angebotenen Indizes. Wir stellen ein kostenloses Index-Tool zur Verfügung, um die Kompatibilität zu überprüfen. Führen Sie das Index-Tool aus, um die Inkompatibilität zu beurteilen und entsprechende Problemumgehungen zu planen.

Tool zur Kompatibilitätsbewertung von Amazon DocumentDB

Das Kompatibilitätstool von MongoDB zu Amazon DocumentDB ist ein Open-Source-Hilfsprogramm, das unter verfügbar ist und hilft GitHub , die Kompatibilität von MongoDB-Workloads mit Amazon DocumentDB zu bewerten, indem es MongoDB-Protokolle oder den Quellcode der Anwendung analysiert.

Schlüssel-Features

Bewertungsmethoden

Log-based Bewertung

Analyse des Quellcodes

Optimale Ergebnisse erzielen Sie, wenn möglich, mit beiden Bewertungsmethoden, um sich vor der Migration ein vollständiges Bild der Kompatibilitätsprobleme zu machen.

Workload-Erkennung

Die Migration von MongoDB zu Amazon DocumentDB erfordert ein gründliches Verständnis der bestehenden Datenbank-Arbeitslast. Bei der Workload-Erkennung werden Ihre Datenbanknutzungsmuster, Datenstrukturen, Abfrageleistung und betriebliche Abhängigkeiten analysiert, um einen nahtlosen Übergang mit minimalen Unterbrechungen zu gewährleisten. In diesem Abschnitt werden die wichtigsten Schritte zur Workload-Erkennung beschrieben, um eine effektive Migration von MongoDB zu Amazon DocumentDB zu ermöglichen.

Bewertung der bestehenden MongoDB-Bereitstellung

Vor der Migration ist es wichtig, die aktuelle MongoDB-Umgebung zu evaluieren, einschließlich:

Identifizierung von Unterschieden im Datenmodell

Amazon DocumentDB ist es zwar MongoDB-compatible, es gibt jedoch Unterschiede bei den unterstützten Funktionen, wie z. B.:

Abfrage- und Leistungsanalyse

Das Verständnis des Abfrageverhaltens hilft bei der Optimierung der Migration und der Leistung nach der Migration. Zu den wichtigsten zu analysierenden Bereichen gehören:

Überprüfung der Sicherheit und Zugriffskontrolle

Authentifizierung und Autorisierung

Verschlüsselung

Stellen Sie sicher, dass die Verschlüsselung im Ruhezustand und bei der Übertragung den Compliance-Anforderungen entspricht.

Netzwerkkonfiguration

Planen Sie die Einrichtung der Virtual Private Cloud (VPC) und die Regeln für Sicherheitsgruppen ein.

Überlegungen zum Betrieb und zur Überwachung

Um die Systemzuverlässigkeit aufrechtzuerhalten, sollte die Workload-Erkennung auch Folgendes beinhalten:

Index-Migration

Bei der Migration von MongoDB zu Amazon DocumentDB werden nicht nur Daten, sondern auch Indizes übertragen, um die Abfrageleistung aufrechtzuerhalten und den Datenbankbetrieb zu optimieren. In diesem Abschnitt wird der detaillierte, schrittweise Prozess zur Migration von Indizes von MongoDB zu Amazon DocumentDB beschrieben und gleichzeitig Kompatibilität und Effizienz gewährleistet.

Verwenden des Amazon DocumentDB-Indextools

Klonen Sie das Index-Tool

git clone https://github.com/awslabs/amazon-documentdb-tools.git
cd amazon-documentdb-tools/index-tool

pip install -r requirements.txt

Exportieren Sie Indizes aus MongoDB (wenn Sie von MongoDB migrieren)

python3 migrationtools/documentdb_index_tool.py --dump-indexes --dir mongodb_index_export --uri
'mongodb://localhost:27017'

Exportieren Sie Indizes aus Amazon DocumentDB (wenn Sie von Amazon DocumentDB migrieren)

python3 migrationtools/documentdb_index_tool.py --dump-indexes --dir docdb_index_export --uri
'mongodb://user:password@mydocdb.cluster-cdtjj00yfi95.eu-west-
2.docdb.amazonaws.com:27017/?tls=true&tlsCAFile=rds-combined-ca-
bundle.pem&replicaSet=rs0&retryWrites=false'

Indizes importieren

python3 migrationtools/documentdb_index_tool.py --restore-indexes --skip-incompatible --dir
mongodb_index_export --uri 'mongodb://user:password@mydocdb.cluster-cdtjj00yfi95.eu-west-
2.docdb.amazonaws.com:27017/?tls=true&tlsCAFile=rds-combined-ca-
bundle.pem&replicaSet=rs0&retryWrites=false'

Indizes verifizieren

python3 migrationtools/documentdb_index_tool.py --show-issues --dir mongodb_index_export

Benutzermigration

Die Migration von Benutzern von MongoDB zu Amazon DocumentDB ist für die Aufrechterhaltung der Zugriffskontrolle, Authentifizierung und Datenbanksicherheit unerlässlich. In diesem Abschnitt werden detaillierte Schritte zur erfolgreichen Migration von MongoDB-Benutzern unter Beibehaltung ihrer Rollen und Berechtigungen mithilfe des Amazon DocumentDB-Export-Benutzertools beschrieben.

Verwenden des Amazon DocumentDB-Tools zum Exportieren von Benutzern

Das Export Users tool exportiert Benutzer und Rollen aus MongoDB oder Amazon DocumentDB in JavaScript Dateien, die dann verwendet werden können, um sie in einem anderen Cluster neu zu erstellen.

Voraussetzungen

# Clone the repository
git clone https://github.com/awslabs/amazon-documentdb-tools.git
cd amazon-documentdb-tools/migration/export-users

# Install required dependencies
pip install pymongo

Schritt 1: Benutzer und Rollen exportieren

# Export users and roles to JavaScript files
python3 docdbExportUsers.py \
--users-file mongodb-users.js \
--roles-file mongodb-roles.js \
--uri "mongodb://admin:password@source-host:27017/"

Schritt 2: Bearbeiten Sie die Benutzerdatei

// Example of how to update the users.js file
// Find each user creation statement and add the password
db.getSiblingDB("admin").createUser({
user: "appuser",
// Add password here
pwd: "newpassword",
roles: [
{ role: "readWrite", db: "mydb" }
]
})

Schritt 3: Stellen Sie benutzerdefinierte Rollen in Amazon DocumentDB wieder her

# Import roles first
mongo --ssl \
--host target-host:27017 \
--sslCAFile rds-combined-ca-bundle.pem \
--username admin \
--password password \
mongodb-roles.js

Schritt 4: Benutzer in Amazon DocumentDB wiederherstellen

# Import users after roles are created
mongo --ssl \
--host target-host:27017 \
--sslCAFile rds-combined-ca-bundle.pem \
--username admin \
--password password \
mongodb-users.js

Wichtige Hinweise

Diese Methode bietet einen sicheren und flexiblen Ansatz für die Migration von Benutzern und Rollen von MongoDB zu Amazon DocumentDB und ermöglicht gleichzeitig das Zurücksetzen von Passwörtern während des Migrationsprozesses.

Datenmigrationen

Online-Migration

Dieser Abschnitt enthält detaillierte Schritte zur Durchführung einer Online-Migration von MongoDB zu Amazon DocumentDB, um minimale Ausfallzeiten und kontinuierliche Replikation AWS DMS zu ermöglichen. Zunächst richten Sie einen Amazon DocumentDB-Cluster als Ziel ein und stellen sicher, dass Ihre MongoDB-Instance ordnungsgemäß als Quelle konfiguriert ist. In der Regel ist für die Erfassung von Änderungsdaten der Replikat-Set-Modus erforderlich. Als Nächstes erstellen Sie eine DMS-Replikationsinstanz und definieren Quell- und Zielendpunkte mit den erforderlichen Verbindungsdetails. Nach der Validierung der Endpunkte konfigurieren und starten Sie eine Migrationsaufgabe, die das vollständige Laden der Daten, die fortlaufende Replikation oder beides umfassen kann.

Ziel konfigurieren (Amazon DocumentDB)

Erstellen Sie eine benutzerdefinierte Parametergruppe

Weitere Informationen finden Sie AWS CLI unter AWS-Managementkonsole oderErstellen von Amazon DocumentDB-Cluster-Parametergruppen.

Erstellen Sie einen Amazon DocumentDB-Cluster

Quelle konfigurieren

MongoDB und Amazon DocumentDB können je nach Szenario beide als Migrationsquellen dienen:

Bevor Sie mit der Migration beginnen, konfigurieren Sie Ihre Quelle so, dass der AWS DMS Zugriff möglich ist.

Erstellen Sie einen MongoDB-Benutzer mit den richtigen Berechtigungen:

db.createUser({
user: "dmsUser",
pwd: "yourSecurePassword",
roles: [{ role: "readAnyDatabase", db: "admin" }]
})

Konfigurieren Sie das Netzwerk und die Authentifizierung.

Bei der Konfiguration der Netzwerkkonnektivität für die Migration von MongoDB zu DMS:

EC2-hosted MongoDB-Quelle

On-premises MongoDB-Quelle

MongoDB Atlas-Quelle

Amazon DocumentDB-Quelle

Konfigurieren Sie Ihre Amazon DocumentDB-Sicherheitsgruppe als Quelle so, dass eingehender Datenverkehr von der Sicherheitsgruppe der DMS-Replikationsinstanz zugelassen wird.

Erstellen Sie eine DMS-Replikationsinstanz

Verwenden Sie DMS Buddy, um Ihre DMS-Infrastruktur bereitzustellen. Es schafft eine optimale Migrationsinfrastruktur mit optimalen DMS-Einstellungen und Instanzgrößen.

Wenn Sie es vorziehen, manuell zu konfigurieren, gehen Sie wie folgt vor:

DMS-Endpunkte erstellen

Erstellen Sie einen Quellendpunkt

Für eine MongoDB-Quelle

Für eine Amazon DocumentDB-Quelle

Erstellen Sie einen Zielendpunkt (Amazon DocumentDB)

Replikationsaufgabe erstellen

Offline-Migration

In diesem Abschnitt wird der Prozess zur Durchführung einer Offline-Migration von einer selbstverwalteten MongoDB-Instance zu Amazon DocumentDB mithilfe nativer MongoDB-Tools beschrieben: und. mongodump mongorestore

Voraussetzungen

Quelle: MongoDB-Anforderungen

Target, Amazon DocumentDB-Anforderungen

Allgemeine Anforderungen

Bereiten Sie einen Amazon DocumentDB-Cluster vor

Erstellen Sie einen Amazon DocumentDB-Cluster in: AWS

Führen Sie den Datendump durch (mongodump)

Wählen Sie eine der folgenden Optionen, um eine Dump-Datei zu erstellen:

Übertragen Sie die Dump-Dateien in die Wiederherstellungsumgebung

Wählen Sie basierend auf Ihrer Dumpgröße eine geeignete Methode aus:

Daten in Amazon DocumentDB wiederherstellen (mongorestore)

Bevor Sie den Wiederherstellungsvorgang starten, erstellen Sie die Indizes in Amazon DocumentDB. Sie können das Amazon DocumentDB Index-Tool verwenden, um Indizes zu exportieren und zu importieren.

Wählen Sie eine der folgenden Optionen, um Daten wiederherzustellen:

Überwachen

In diesem Abschnitt wird ein detailliertes Überwachungsverfahren zur Überwachung des Fortschritts, der Leistung und des Zustands einer laufenden Migration aus folgenden Quellen beschrieben:

MongoDB nach Amazon DocumentDB

oder

Amazon DocumentDB nach Amazon DocumentDB

Die Überwachungsschritte gelten unabhängig von der Migrationsmethode (AWS DMS, mongodump/mongorestore, oder anderen Tools).

AWS DMS Überwachung der Migration (falls zutreffend)

Überwachen Sie die folgenden wichtigen CloudWatch Kennzahlen:

Metriken für die Volllastphase

Metriken für die CDC-Phase

Metriken für Ressourcen

Fehler-Metriken

Erstellen Sie CloudWatch Alarme für kritische Kennzahlen, z. B. CDCLatencyTarget um Benachrichtigungen CPUUtilization zu erhalten, wenn sich die Migrationsleistung verschlechtert.

DMS-Protokolle (Protokolle) CloudWatch

DMS-Aufgabenstatus (verwenden AWS CLI)

aws dms describe-replication-tasks --filters Name=replication-task id,Values=<task_id> --query
"ReplicationTasks[0].Status"

Erwarteter Statusablauf:

erstellen → bereit → läuft → stoppen → gestoppt (oder fehlgeschlagen)

Monitor mit Docdb-Dashboarder

Das docdb-dashboarder Tool bietet eine umfassende Überwachung für Amazon DocumentDB-Cluster, indem es automatisch Dashboards mit wichtigen Leistungskennzahlen generiert CloudWatch . Diese Dashboards zeigen wichtige Metriken auf Cluster-Ebene (Replikatverzögerung, Betriebszähler), Metriken auf Instance-Ebene (CPU, Arbeitsspeicher, Verbindungen) und Speichermetriken (Volumennutzung, Backup-Speicher) an. Für Migrationsszenarien bietet das Tool spezielle Dashboards, die den Migrationsfortschritt anhand von Metriken wie CDC-Replikationsverzögerung und Betriebsraten verfolgen. Die Dashboards können mehrere Cluster gleichzeitig überwachen und bieten Unterstützung für Instances. NVMe-backed Durch die Visualisierung dieser Kennzahlen können Teams proaktiv Leistungsengpässe erkennen, die Ressourcenzuweisung optimieren und den reibungslosen Betrieb ihrer Amazon DocumentDB-Bereitstellungen sicherstellen. Das Tool macht die manuelle Erstellung von Dashboards überflüssig und bietet gleichzeitig eine konsistente Überwachung in allen Umgebungen. Anweisungen zur Einrichtung und erweiterte Konfigurationsoptionen finden Sie im Amazon DocumentDB Dashboarder Tool-Repository. GitHub

Validierung

Dieser Abschnitt enthält einen detaillierten Validierungsprozess zur Sicherstellung der Datenkonsistenz, Integrität und Anwendungskompatibilität nach der Migration von:

MongoDB zu Amazon DocumentDB

oder

Amazon DocumentDB nach Amazon DocumentDB

Die Validierungsschritte gelten unabhängig von der Migrationsmethode (AWS DMS mongodump/mongorestore, oder anderen Tools).

Checkliste für die Validierung

Stellen Sie sicher, dass die Anzahl der Dokumente in jeder Sammlung zwischen Quelle und Ziel übereinstimmt:

MongoDB-Quelle

mongo --host <source_host> --port <port> --username <user> -- password <password> --eval
"db.<collection>.count()"

Amazon DocumentDB-Ziel

mongo --host <target_host> --port <port> --username <user> -- password <password> --eval
"db.<collection>.count()"

Schema- und Indexvalidierung

Stellen Sie Folgendes sicher:

Überprüfen Sie die Sammlungen (Quelle oder Ziel)

mongo --host <source_host> --eval "show collections"
mongo --host <target_host> --ssl --eval "show collections"

Indizes überprüfen (Quelle oder Ziel)

mongo --host <source_host> --eval" db.<collection>.getIndexes()"
mongo --host <target_host> --ssl –eval" db.<collection>.getIndexes()"

Vergleichen Sie die Liste der Sammlungen, um sicherzustellen, dass keine Sammlungen fehlen oder zusätzliche Sammlungen vorhanden sind.

Überprüfen Sie Indizes, indem Sie Indexnamen, Schlüsseldefinitionen, eindeutige Einschränkungen und TTL-Indizes (falls vorhanden) überprüfen.

Überprüfen Sie die Schemavalidierungsregeln (wenn Sie die Schemavalidierung in MongoDB verwenden)

mongo --host <source_host> --eval" db.getCollectionInfos({name: '<collection>'})
[0].options.validator"
   mongo --host <target_host> --ssl –eval" db.getCollectionInfos({name: '<collection>'})[0].options.validator"

Datenstichprobenentnahme und Validierung auf Feldebene

Sie können Dokumente nach dem Zufallsprinzip auswählen und Felder zwischen Quelle und Ziel vergleichen.

Manuelle Probenentnahme

Rufe fünf zufällige Dokumente ab (Quelle):

mongo --host <source_host> --eval "db.<collection>.aggregate([{ \$sample: { size: 5 } }])"

Ruft dieselben Dokument-IDs ab (Ziel):

mongo --host <target_host> --ssl –eval "db.<collection>.find({ _id: { \$in: [<list_of_ids>] } })"

Automatische Probenentnahme

import pymongo
# Connect to source and target
source_client = pymongo.MongoClient("<source_uri>")
target_client = pymongo.MongoClient("<target_uri>", ssl=True)
source_db = source_client["<db_name>"]
target_db = target_client["<db_name>"]
# Compare 100 random documents
for doc in source_db.<collection>.aggregate([{ "$sample":
{ "size": 100 } }]):
target_doc = target_db.<collection>.find_one({ "_id":
doc["_id"] })
if target_doc != doc:
print(f"❌ Mismatch in _id: {doc['_id']}")
else:
print(f"✅ Match: {doc['_id']}")

Validierung mit einem DataDiffer Tool

Das DataDiffer Tool bietet eine zuverlässige Möglichkeit, Daten zwischen Quell- und Zieldatenbanken zu vergleichen.

Voraussetzungen

Die folgenden Voraussetzungen müssen vor der Installation des DataDiffer Tools erfüllt sein:

Einrichtung und Installation

Klonen Sie das Repository und navigieren Sie zum Verzeichnis DataDiffer

git clone https://github.com/awslabs/amazon-documentdb-tools.git
cd amazon-documentdb-tools/migration/data-differ

Installieren Sie die erforderlichen Abhängigkeiten

pip install -r requirements.txt

Datenvalidierung ausführen

Erstellen Sie eine Konfigurationsdatei (z. B. config.json) mit Verbindungsdetails

{
"source": {
"uri": "mongodb://username:password@source-mongodb-
host:27017/?replicaSet=rs0",
"db": "your_database",
"collection": "your_collection"
},
"target": {
"uri": "mongodb://username:password@target-docdb-
cluster.region.docdb.amazonaws.com:27017/?tls=true&tlsCAFile=global-
bundle.pem&replicaSet=rs0",
"db": "your_database",
"collection": "your_collection"
},
"options": {
"batch_size": 1000,
"threads": 4,
"sample_size": 0,
"verbose": true
}
}

Führen Sie das Tool aus DataDiffer

python differ.py --config config.json

Verwenden Sie bei großen Sammlungen Stichproben, um eine Teilmenge von Daten zu validieren

python differ.py --config config.json --sample-size 10000

Um mehrere Sammlungen zu validieren, erstellen Sie separate Konfigurationsdateien oder verwenden Sie den Batch-Modus

python differ.py --batch-config batch_config.json

Ergebnisse interpretieren

Das Tool gibt Folgendes aus:

Bewährte Methoden

Im Folgenden finden Sie bewährte Methoden bei der Verwendung des DataDiffer Tools: