View a markdown version of this page

AWS DMS Serverlose Komponenten - AWS Datenbankmigrationsdienst
Unterstützte EndpunkteErstellen einer Serverless-AnwendungÄndern AWS DMS serverlose ReplizierungenCompute-KonfigurationGrundlegendes zur automatischen Skalierung in AWS DMS ServerlessÜberwachen AWS DMS Serverlose ReplikationenErweiterter Durchsatz Full-Load — Amazon RedshiftGrundlegendes zu Storage Autoscaling in AWS DMS Serverless

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

AWS DMS Serverlose Komponenten

Zur Verwaltung der Ressourcen, die für die Durchführung einer Replikation benötigt werden, verfügt AWS DMS Serverless über granulare Statusinformationen, aus denen die verschiedenen internen Aktionen des Dienstes hervorgehen. Wenn Sie die Replikation starten, berechnet AWS DMS Serverless die Kapazitätslast, stellt die berechnete Kapazität bereit und startet die Datenreplikation gemäß den folgenden Replikationsstatus.

Das folgende Diagramm zeigt die Zustandsübergänge für eine AWS DMS serverlose Replikation.

AWS DMS Status der serverlosen Replikation

  • Der erste Status nach dem Start der Replikation ist Initialisieren. In diesem Status werden alle erforderlichen Parameter initialisiert.

  • Zu den unmittelbar folgenden Status gehören Vorbereiten von Metadatenressourcen, Verbindung testen und Abrufen von Metadaten. In diesen Zuständen stellt AWS DMS Serverless eine Verbindung zu Ihrer Quelldatenbank her, um die Informationen abzurufen, die zur Vorhersage der benötigten Kapazität erforderlich sind.

    • Wenn der Replikationsstatus Verbindung testen lautet, überprüft AWS DMS Serverless, ob die Verbindung zu Ihrer Quell- und Zieldatenbank erfolgreich eingerichtet wurde.

    • Der Replikationsstatus nach Verbindung testen lautet Abrufen von Metadaten. AWS DMS Ruft hier die Informationen ab, die zur Berechnung der Kapazität erforderlich sind.

    • Sobald die erforderlichen Informationen AWS DMS abgerufen wurden, lautet der nächste Status „Kapazität berechnen“. Hier berechnet das System die Größe der zugrunde liegenden Ressourcen, die für die Durchführung der Replikation erforderlich sind.

  • Der Statusübergang nach Kapazität berechnen ist der zu Kapazität bereitstellen. Während sich die Replikation in diesem Status befindet, initialisiert AWS DMS Serverless die zugrunde liegenden Rechenressourcen.

  • Der Replikationsstatus nach erfolgreicher Bereitstellung aller Ressourcen lautet Starten der Replikation. In diesem Zustand beginnt AWS DMS Serverless mit der Replikation von Daten. Die Phasen einer Replikation umfassen Folgendes:

    • Volllast: In dieser Phase repliziert DMS den Quelldatenspeicher so, wie er zu Beginn der Replikation war.

    • CDC (initial): In dieser Phase repliziert DMS die Änderungen am Quelldatenspeicher, die während der Volllastphase vorgenommen wurden. DMS führt diese Phase nur aus, wenn die StopTaskCachedChangesNotApplied Aufgabeneinstellung lautet. false

    • CDC (fortlaufend): Nach der ersten CDC-Phase repliziert DMS Änderungen in der Quelldatenbank, sobald sie auftreten. DMS führt die Replikation nach der ersten CDC-Phase nur dann weiter aus, wenn die Aufgabeneinstellung dies ist. StopTaskCachedChangesApplied false

  • Der endgültige Status ist Running. Im Status Running erfolgt die Replikation der Daten.

  • Eine Replikation, die Sie beenden, geht in den Status Stopped über. Eine Replizierung kann in den Status „Beendet“ übergehen, wenn Replizierungsaufgaben, die nur Volllast umfassen und erfolgreich abgeschlossen wurden. Nachdem eine serverlose Replikation gestartet wurde, müssen Sie sie wieder aufnehmen, indem Sie sie resume-processing als Starttyp verwenden. Sie können sie nicht neu starten. Die start-replication API wird nur für den ersten Start verwendet. Verwenden Sie die start-replication Aktion mit start-replication-type set auf resume-processing für nachfolgende Starts. Beachten Sie Folgendes, wenn Sie Replizierungen im Status „Beendet“ oder „Fehlgeschlagen“ wieder aufnehmen:

    • Sie können eine Replikation, die seit 48 Stunden nicht gestartet wurde, nicht wieder aufnehmen, da die Ressourcen AWS DMS zur Verfügung gestellt werden.

Für AWS DMS Serverless gibt es im linken Navigationsbereich der AWS DMS Konsole die neue Option Serverlose Replikationen. Für Serverless-Replikationen geben Sie Replikationen anstelle von Replikations-Instance-Typen oder Aufgaben an, um eine Replikation zu definieren. Darüber hinaus geben Sie die maximalen und minimalen DMS-Kapazitätseinheiten (DCUs) an, die DMS für die Replikation bereitstellen soll. Eine DCU besteht aus 2 GB RAM. AWS DMS stellt Ihrem Konto jede DCU in Rechnung, die Ihre Replikation derzeit verwendet. Informationen zur AWS DMS Preisgestaltung finden Sie unter Preise für den AWS Database Migration Service.

AWS DMS stellt dann automatisch Replikationsressourcen auf der Grundlage Ihrer Tabellenzuordnungen und der voraussichtlichen Größe Ihrer Arbeitslast bereit. Diese Kapazitätseinheit ist ein Wert im Bereich der von Ihnen angegebenen Mindest- und Höchstwerte für Kapazitätseinheiten.

Unterstützte Endpunkte

Mit AWS DMS Serverless müssen Sie keine Engine-Versionen auswählen und verwalten, da der Service diese Einstellung übernimmt. AWS DMS Serverless unterstützt die folgenden Quellen:

  • MongoDB

  • Amazon DocumentDB (mit MongoDB-Kompatibilität)

  • Microsoft SQL Server

  • PostgreSQL-compatible Datenbanken

  • MySQL-compatible Datenbanken

  • MariaDB

  • Oracle

  • Amazon S3

  • IBM Db2

AWS DMS Serverless unterstützt die folgenden Ziele:

  • Microsoft SQL Server

  • PostgreSQL

  • MySQL-compatible Datenbanken

  • Oracle

  • Amazon S3

  • Amazon Redshift

  • Amazon DynamoDB

  • Amazon Kinesis Data Streams

  • Amazon Managed Streaming für Apache Kafka

  • Amazon OpenSearch Service

  • Amazon DocumentDB (mit MongoDB-Kompatibilität)

  • Amazon Neptune

Als Teil von AWS DMS Serverless haben Sie Zugriff auf Konsolenbefehle, mit denen Sie AWS DMS serverlose Replikationen erstellen, konfigurieren, starten und verwalten können. Um diese Befehle im Bereich Serverless-Replikationen der Konsole auszuführen, müssen Sie einen der folgenden Schritte durchführen:

  • Richten Sie eine neue AWS Identity and Access Management (IAM-) Richtlinie und eine IAM-Rolle ein, an die diese Richtlinie angehängt werden soll.

  • Verwenden Sie eine AWS CloudFormation Vorlage, um den Zugriff bereitzustellen, den Sie benötigen.

AWS DMS Serverless erfordert, dass in Ihrem Konto eine Service Linked Role (SLR) vorhanden ist. AWS DMS verwaltet die Erstellung und Verwendung dieser Rolle. Weitere Informationen darüber, wie Sie sicherstellen können, dass Sie über die erforderliche SLR verfügen, finden Sie unter Service-linked Rolle für AWS DMS.

Erstellen einer Serverless-Anwendung

Gehen Sie wie folgt vor, um eine serverlose Replikation zwischen zwei vorhandenen AWS DMS Endpunkten zu erstellen. Hinweise zum Erstellen von AWS DMS Endpunkten finden Sie unter. Erstellen der Quell- und Zielendpunkte

Erstellen einer Serverless-Anwendung

  1. Melden Sie sich bei der an AWS-Managementkonsole und öffnen Sie die AWS DMS Konsole unter https://console.aws.amazon.com/dms/v2/.

  2. Wählen Sie im Navigationsbereich Serverless-Replikationen und dann Replikation erstellen aus.

  3. Geben Sie auf der Seite Replikation erstellen Ihre Konfiguration für die Serverless-Replikation an:

    Option Action

    Name

    		Geben Sie einen Namen zur Identifizierung der Replikation ein, z. B. DMS-replication.
    Beschreibender Amazon-Ressourcenname (ARN) – optional Sie können diesen optionalen Parameter verwenden, um eine Beschreibung der Replikation bereitzustellen.
    Endpunkt der Quelldatenbank Wählen Sie vorhandene Endpunkte in Ihrem Konto aus. Beachten Sie, dass AWS DMS Serverless nur eine Teilmenge der Endpunkttypen unterstützt, die der AWS DMS Standard unterstützt.
    Endpunkt der Zieldatenbank Wählen Sie vorhandene Endpunkte in Ihrem Konto aus. Beachten Sie, dass AWS DMS Serverless nur eine Teilmenge der Endpunkttypen unterstützt, die der Standard unterstützt. AWS DMS
    Typ der Replikation Wählen Sie einen Replikationstyp, der Ihren Anforderungen entspricht:

    • Volllast: AWS DMS migriert nur vorhandene Daten.

    • Vollständige Erfassung von Daten und Änderungen (CDC): AWS DMS migriert vorhandene Daten und Änderungen, die während der Replikation vorgenommen werden.

    • Change Data Capture (CDC): migriert AWS DMS nur Änderungen, die nach dem Start der Replikation vorgenommen werden.

    Legen Sie im Abschnitt Einstellungen die Einstellungen fest, die für Ihre Replikation erforderlich sind.

    Richten Sie im Abschnitt Tabellenzuordnungen die Tabellenzuordnung ein, um Regeln für die Auswahl und Filterung von Daten zu definieren, die Sie replizieren. Bevor Sie Ihre Zuweisung angeben, sollten Sie den Abschnitt in der Dokumentation zur Zuweisung der Datentypen für Ihre Quell- und Zieldatenbank lesen. Informationen zur Datentypzuordnung für Ihre Quell- und Zieldatenbanken finden Sie im Abschnitt Datentypen für Ihre Quell- und Zielendpunkttypen im Arbeiten mit AWS DMS-Endpunkte Thema.

    Legen Sie im Abschnitt Compute-Einstellungen die folgenden Einstellungen fest. Informationen zu den Compute-Config-Einstellungen finden Sie unter Compute-Konfiguration.

    Option Action

    VPC

    		Wählen Sie eine vorhandene VPC aus.

    Subnetzgruppe

    		Wählen Sie eine vorhandene Subnetzgruppe aus.

    VPC-Sicherheitsgruppe(n)

    		Wählen Sie Standard, falls noch keine Auswahl getroffen wurde.

    AWS KMS-Schlüssel

    		Wählen Sie einen geeigneten KMS-Schlüssel. Informationen zu KMS-Schlüsseln finden Sie in der AWS Key Management Service API-Referenz unter Schlüssel erstellen.

    Bereitstellung

    		Lassen Sie dies unverändert.

    Availability Zone

    		Lassen Sie dies unverändert.

    Minimale DMS-Kapazitätseinheiten (DCU) – (optional)

    		Lassen Sie das Feld leer, um den Standardwert von 1 DCU zu verwenden.

    Maximale DMS-Kapazitätseinheiten (DCU)

    		Wählen Sie 16 DCU.

    Lassen Sie die Einstellungen unter Wartung unverändert.

  4. Wählen Sie Replikation erstellen.

AWS DMS erstellt eine serverlose Replikation, um Ihre Migration durchzuführen.

Ändern AWS DMS serverlose Replizierungen

Verwenden Sie die Aktion modify-replication-config, um Ihre Replikationskonfiguration zu ändern. Sie können nur eine AWS DMS Replikationskonfiguration ändern, die sich im StatusCREATED, STOPPEDFAILED, oder FAILED_PROVISION befindet. Informationen zur modify-replication-config Aktion finden Sie ModifyReplicationConfig in der AWS Database Migration Service API-Referenz.

Um eine Konfiguration für die serverlose Replikation zu ändern, verwenden Sie die AWS-Managementkonsole

  1. Melden Sie sich bei der an AWS-Managementkonsole und öffnen Sie die AWS DMS Konsole unter https://console.aws.amazon.com/dms/v2/.

  2. Wählen Sie im Navigationsbereich die Option Serverless-Replikationen aus.

  3. Wählen Sie die Replikation aus, die Sie ändern möchten. In der folgenden Tabelle werden die Änderungen beschrieben, die Sie auf der Grundlage des aktuellen Status der Replikation vornehmen können.

    Einstellung Description Zulässige Zustände

    Name

    Sie können den Namen der Replikation ändern. Geben Sie einen Namen für die Replikation an, der aus 8 bis 16 druckbaren ASCII-Zeichen (ohne /, " und @) besteht. Der Name sollte für Ihr Konto und die gewählte AWS -Region eindeutig sein. Sie können dem Namen einige Details hinzufügen, z. B. die AWS Region und die Aufgabe, die Sie ausführen, zum Beispiel:west2-mysql2mysql-config1.

    ReplicationState ist CREATED, STOPPED oder FAILED.

    Endpunkt der Quelldatenbank

    Wählen Sie einen neuen vorhandenen Quellendpunkt als Quelle für die Replikation.

    ReplicationState ist CREATED oder FAILED, wenn ProvisionState null ist.

    Endpunkt der Zieldatenbank

    Wählen Sie einen neuen vorhandenen Zielendpunkt als Ziel für die Replikation.

    ReplicationState ist CREATED oder FAILED, wenn ProvisionState null ist.

    Typ der Replikation

    Sie können den Typ einer Serverless-Replikation ändern.

    ReplicationState ist CREATED oder FAILED, wenn ProvisionState null ist.

    Einstellungen für die Replikation

    Sie können die Replikationseinstellungen ändern, einschließlich des Vorbereitungsmodus für die Zieltabelle, ob LOB-Spalten in die Replikation einbezogen werden sollen, die maximale LOB-Größe, die Überprüfung und die Protokollierung. Weitere Informationen finden Sie unter Task settings (Aufgabeneinstellungen).

    ReplicationState ist CREATED, STOPPED oder FAILED.

    Tabellenzuordnung

    Sie können die Tabellenzuordnungseinstellungen für eine Serverless-Replikation ändern, einschließlich der Auswahlregeln und der Transformationsregeln. Weitere Informationen finden Sie unter Table mapping (Tabellenzuweisung).

    ReplicationState ist CREATED, STOPPED oder FAILED.

    Compute-Konfiguration

    Sie können die Compute-Konfigurationseinstellungen für eine Serverless-Replikation ändern, einschließlich der Netzwerkeinstellungen, Skalierungseinstellungen und Wartungseinstellungen. Informationen zu den Compute-Config-Einstellungen finden Sie unter Compute-Konfiguration.

    • Sie können die folgenden Skalierungs-, Wartungs- und Netzwerkeinstellungen ändern, wenn der ReplicationState CREATED, STOPPED oder FAILED ist:

      • MinCapacityUnits

      • MaxCapacityUnits

      • MultiAZ

      • PreferredMaintenanceWindow

      • VpcSecurityGroupIds

    • Sie können die folgenden Netzwerk- und Sicherheitseinstellungen ändern, wenn der ReplicationState CREATED oder FAILED bzw. wenn der ProvisionState null ist:

      • AvailabilityZone

      • DnsNameServers

      • KmsKeyId

      • ReplicationSubnetGroupId
Anmerkung

Sie können Endpunkte, die einer DMS-Aufgabe zugeordnet sind, nicht ändern, wenn der Aufgabenstatus „Startet“ oder „Wird ausgeführt“ lautet.

Compute-Konfiguration

Sie konfigurieren Ihre Replikationsbereitstellung mithilfe des Parameters „Compute-Konfiguration“ oder des Konsolenabschnitts. Die Felder im „Compute-Konfiguration“-Objekt umfassen Folgendes:

Option Description

MinCapacityUnits

Dies ist die Mindestanzahl von DMS-Kapazitätseinheiten (DCU), die bereitgestellt werden. AWS DMS Dies ist auch die minimale DCU, auf die Autoscaling herunterskaliert werden könnte.

MaxCapacityUnits

Dies ist die maximale Anzahl von DMS-Kapazitätseinheiten (DCU), die AWS DMS je nach der Kapazitätsprognose Ihrer Replikation bereitstellen kann. Dies ist auch die minimale DCU, auf die Autoscaling hochskaliert werden könnte.

KmsKeyId

Der Verschlüsselungsschlüssel, der zum Verschlüsseln der Replikationsspeicher- und Verbindungsinformationen verwendet werden soll. Wenn Sie (Standard) wählen aws/dms, wird der Standard-KMS-Schlüssel AWS DMS verwendet, der Ihrem Konto zugeordnet ist und. AWS-Region Eine Beschreibung und die Kontonummer werden angezeigt, zusammen mit den Schlüssel-ARN. Weitere Informationen zur Verwendung des Verschlüsselungsschlüssels finden Sie unter Einen Verschlüsselungsschlüssel festlegen und angeben AWS KMS Berechtigungen. Lassen Sie für dieses Tutorial die Option (Standard) aws/dms ausgewählt.

ReplicationSubnetGroupId

Wählen Sie die Replikationssubnetzgruppe in der von Ihnen ausgewählten VPC aus, in der die Replikation erstellt werden soll. Wenn sich Ihre Quelldatenbank in einer VPC befindet, wählen Sie die Subnetzgruppe, die die Quelldatenbank enthält, als Speicherort für Ihre Replikation aus. Weitere Informationen zu Replikationssubnetzgruppen finden Sie unter Erstellen einer Replikationssubnetzgruppe.

VpcSecurityGroupIds

Die Replikations-Instance wird in einer VPC erstellt. Wenn sich Ihre Quelldatenbank in einer VPC befindet, wählen Sie die VPC-Sicherheitsgruppe aus, die Zugriff auf die DB-Instance bietet, in der sich die Datenbank befindet.

PreferredMaintenanceWindow

Dieser Parameter definiert einen wöchentlichen Zeitraum, in dem Systemwartungen durchgeführt werden können, in UTC (Universal Coordinated Time). Die Standardeinstellung ist ein 30-minütiges Fenster, das nach dem Zufallsprinzip aus einem Zeitblock von 8 Stunden ausgewählt wird und an einem zufälligen Wochentag stattfindet. AWS-Region

MultiAZ

Verwenden Sie diesen optionalen Parameter zum Erstellen eines Standby-Replikats Ihrer Replikation in einer anderen Availability Zone, um Failover-Unterstützung zu bieten. Wenn Sie Change Data Capture (CDC) oder die fortlaufende Replikation verwenden möchten, sollten Sie diese Option aktivieren.

Grundlegendes zur automatischen Skalierung in AWS DMS Serverless

Nachdem Sie eine Replizierung bereitgestellt haben und sie sich im RUNNING Status befindet, verwaltet der AWS DMS Service die Kapazität der zugrunde liegenden Ressourcen, um sich an wechselnde Workloads anzupassen. Dieses Management skaliert die Replikationsressourcen auf der Grundlage der folgenden Replikationseinstellungen:

  • MinCapacityUnits

  • MaxCapacityUnits

Replikationen werden nach einem Zeitraum, in dem ein oberer Nutzungsschwellenwert überschritten wird, hochskaliert, und wenn die Kapazitätsauslastung über einen längeren Zeitraum unter einem Mindestschwellenwert für die Kapazitätsnutzung liegt, herunterskaliert.

Anmerkung

Serverlose Replizierungen können nicht automatisch herunterskaliert werden, während eine Volllast im Gange ist.

Optimieren Sie die automatische Skalierung AWS DMS Serverless

Um Ihre Parameter für das automatische Skalieren der Replikation MaxCapacityUnits zu optimieren, empfehlen wir Ihnen, den Maximalwert einzustellen und die Bereitstellung der AWS DMS Ressourcen zu überlassen. Es wird empfohlen, die größte Einstellung für die maximale DCU-Kapazität zu wählen, um den größtmöglichen Nutzen aus Auto Scaling zu ziehen und Spitzen im Transaktionsvolumen auszugleichen. Der Preisrechner zeigt die maximalen monatlichen Kosten an, wenn Ihre Replikation kontinuierlich die maximale DCU verwendet. Die maximale DCU entspricht nicht den tatsächlichen Kosten, da Sie nur für die genutzte Kapazität zahlen.

Wenn Ihre Replikation ihre Ressourcen nicht mit voller Kapazität nutzt, AWS DMS wird die Bereitstellung der Ressourcen schrittweise aufgehoben, um Kosten zu sparen. Da die Bereitstellung und die Aufhebung der Bereitstellung von Ressourcen jedoch einige Zeit in Anspruch nimmt, empfehlen wir Ihnen, Ihre MinCapacityUnits-Einstellung auf einen Wert festzulegen, mit dem alle zu erwartenden plötzlichen Spitzen Ihres Replikations-Workloads bewältigt werden können. Dadurch wird verhindert, dass Ihre Replikation zu wenig bereitgestellt wird, und gleichzeitig werden Ressourcen AWS DMS für die höhere Arbeitslast bereitgestellt.

Wenn Sie Ihre Replikation mit einer Einstellung für die maximale Kapazität bereitstellen, die für die Datenanforderungen zu niedrig ist, um plötzliche Spitzen im Replikations-Workload bewältigen zu können, wird die CapacityUtilization-Metrik möglicherweise konsistent auf ihrem Maximalwert angezeigt. Dies kann dazu führen, dass Ihre Replikation fehlschlägt. Wenn Ihre Replikation aufgrund einer unzureichenden Bereitstellung von Ressourcen fehlschlägt, AWS DMS wird in Ihren Replikationsprotokollen ein Ereignis über zu wenig Arbeitsspeicher gemeldet. Wenn aufgrund eines plötzlichen Anstiegs der Replikationsarbeitslast oder einer optimierten Konfiguration nicht genügend Arbeitsspeicher zur Verfügung steht, verfügt das System über integrierte automatische Skalierungsfunktionen, um die Situation zu bewältigen und die Verarbeitung fortzusetzen. Dieser automatische Wiederherstellungsmechanismus setzt jedoch nicht sofort ein und es kann einige Zeit dauern, bis er wirksam wird. Für eine schnellere Wiederherstellung können Sie manuelle Maßnahmen ergreifen, indem Sie die Aufgabenkonfiguration ändern, insbesondere indem Sie den MinCapacityUnits Wert erhöhen und die Aufgabe dann fortsetzen. Durch diesen manuellen Eingriff lässt sich der Fehler aufgrund unzureichenden Speichers schneller beheben, als wenn Sie auf den automatischen Prozess der automatischen Skalierung warten müssten.

Überwachen AWS DMS Serverlose Replikationen

AWS bietet mehrere Tools zur Überwachung Ihrer AWS DMS serverlosen Replikationen und zur Reaktion auf potenzielle Vorfälle:

AWS DMS Metriken für serverlose Replikation

Die Überwachung der serverlosen Replikation umfasst CloudWatch Amazon-Metriken für die folgenden Statistiken. Diese Statistiken sind nach den einzelnen Serverless-Replikationen gruppiert.

Metrik

Einheiten

Description
CapacityUtilization

Prozent

Prozentsatz des insgesamt von der Serverless-Replikation verwendeten Speichers
CDCIncomingChanges Prozent

Die Gesamtanzahl der Änderungsereignisse zu einem Zeitpunkt, die darauf warten, auf das Ziel angewendet zu werden. Beachten Sie, dass dies nicht dasselbe ist wie eine Messung der Transaktionsänderungsrate am Quellendpunkt. Eine große Zahl für diese Metrik bedeutet AWS DMS in der Regel, dass erfasste Änderungen nicht rechtzeitig übernommen werden können, was zu einer hohen Ziellatenz führt.
CDCLatencySource Sekunden

Die Lücke in Sekunden zwischen dem letzten Ereignis, das vom Quellendpunkt erfasst wurde, und dem aktuellen Systemzeitstempel der AWS DMS Instance. CDCLatencySource steht für die Latenz zwischen Quell- und Replikationsinstanz. Hoch CDCLatencySource bedeutet, dass der Prozess der Erfassung von Änderungen an der Quelle verzögert ist. Um die Latenz bei einer laufenden Replizierung zu ermitteln, können Sie diese Metrik zusammen mit anzeigen CDCLatencyTarget. Wenn beide Werte CDCLatencySource hoch CDCLatencyTarget sind, untersuchen Sie dies CDCLatencySource zuerst.

CDCLatencySource kann 0 sein, wenn es keine Replikationsverzögerung zwischen der Quelle und der Replikation gibt. CDCLatencySourcekann auch Null werden, wenn die Replikation versucht, das nächste Ereignis im Transaktionslog der Quelle zu lesen, und im Vergleich zum letzten Mal, als sie aus der Quelle gelesen wurde, keine neuen Ereignisse eingetreten sind. In diesem Fall setzt die Replikation den CDCLatencySource auf 0 zurück.
CDCLatencyTarget Sekunden

Die Anzahl der Sekunden zwischen dem ersten Ereigniszeitstempel, für den auf dem Ziel ein Commit ausgeführt werden soll, und dem aktuellen Zeitstempel der AWS DMS -Instance. Die Ziellatenz ist der Unterschied zwischen der Serverzeit der Replikations-Instance und der ältesten unbestätigten Ereignis-ID, die an eine Zielkomponente weitergeleitet wurde. Mit anderen Worten, die Ziellatenz ist der Zeitstempelunterschied zwischen der Replikations-Instance und dem ältesten Ereignis, das angewendet, aber vom TRG-Endpunkt nicht bestätigt wurde (99 %). Wenn dieser CDCLatencyTarget Wert hoch ist, bedeutet dies, dass das Anwenden von Änderungsereignissen auf das Ziel verzögert ist. Um die Latenz bei einer laufenden Replizierung zu identifizieren, können Sie diese Metrik zusammen mit anzeigen CDCLatencySource. Wenn sie hoch, aber CDCLatencySource nicht hoch CDCLatencyTarget ist, untersuchen Sie, ob:

  • Das Ziel enthält keine Primärschlüssel oder Indizes

  • In der Ziel- oder Replikations-Instance treten Ressourcenengpässe auf

  • Netzwerkprobleme treten zwischen der Replikation und dem Ziel auf
CDCThroughputBandwidthTarget KB pro Sekunde

Für das Ziel übertragene ausgehende Daten in KB pro Sekunde. CDCThroughputBandwidth zeichnet ausgehende Daten auf, die an Messstellen übertragen werden. Wenn kein Netzwerkverkehr gefunden wird, ist der Wert null. Da CDC keine Langläufer-Transaktionen ausgibt, wird der Netzwerkdatenverkehr u. U. nicht aufgezeichnet.
CDCThroughputRowsSource Zeilen pro Sekunde

Eingehende Änderungen von der Quelle in Zeilen pro Sekunde.
CDCThroughputRowsTarget Zeilen pro Sekunde

Ausgehende Änderungen für das Ziel in Zeilen pro Sekunde.
FullLoadThroughputBandwidthTarget KB pro Sekunde

Für das Ziel übertragene ausgehende Daten von Volllast in KB pro Sekunde.
FullLoadThroughputRowsTarget Zeilen pro Sekunde

Ausgehende Änderungen von einem vollständigen Ladevorgang für das Ziel in Zeilen pro Sekunde

AWS DMS Protokolle der serverlosen Replikation

Sie können Amazon verwenden CloudWatch , um Replikationsinformationen während eines AWS DMS Migrationsprozesses zu protokollieren. Sie aktivieren die Protokollierung während der Auswahl der Replikationseinstellungen.

Serverlose Replikationen laden Statusprotokolle in Ihr CloudWatch Konto hoch, um einen besseren Überblick über den Fortschritt der Replikation zu erhalten und Sie bei der Fehlerbehebung zu unterstützen.

AWS DMS lädt serverlos verknüpfte Protokolle mit dem Präfix in eine dedizierte Protokollgruppe hoch. dms-serverless-replication-<your replication config resource ID> Innerhalb dieser Protokollgruppe gibt es einen Protokollstream mit dem Namen dms-serverless-replication-orchestrator-<your replication config resource ID>. In diesem Protokollstream wird der Replikationsstatus Ihrer Replikation sowie eine zugehörige Meldung mit weiteren Einzelheiten zu der Arbeit, die in dieser Phase ausgeführt wird, gemeldet. Beispiele für Protokolleinträge finden Sie nachfolgend in Beispiele für Serverless-Replikationsprotokolle.

Anmerkung

AWS DMS erstellt weder die Protokollgruppe noch den Stream, bis Sie die Replikation ausführen. AWS DMS erstellt die Protokollgruppe oder den Stream nicht, wenn Sie nur die Replikation erstellen.

Gehen Sie wie folgt vor, um Protokolle einer Replikation anzuzeigen, die ausgeführt wurde:

  1. Öffnen Sie die AWS DMS Konsole und wählen Sie im Navigationsbereich Serverlose Replikationen aus. Das Dialogfeld Serverless-Replikationen wird angezeigt.

  2. Gehen Sie zum Abschnitt Konfiguration und wählen Sie in der Spalte „Allgemein“ die Option Serverless-Protokolle anzeigen aus. Die CloudWatch Protokollgruppe wird geöffnet.

Wenn Ihre Replikation fehlschlägt, AWS DMS wird ein Protokolleintrag mit dem Replikationsstatus und einer Meldung erstelltfailed, die den Grund für den Fehler beschreibt. Als ersten Schritt zur Behebung einer fehlgeschlagenen Replikation sollten Sie Ihre CloudWatch Protokolle überprüfen.

Anmerkung

Wie bei AWS DMS Standard haben Sie die Möglichkeit, eine detailliertere Protokollierung des Fortschritts der Datenmigration selbst zu aktivieren, d. h. der Protokolle, die von der zugrunde liegenden Replikationsaufgabe ausgegeben wurden. Sie können diese Protokolle in Ihren Replikationseinstellungen aktivieren, indem Sie EnableLogging im Logging-Feld auf true setzen, wie im folgenden JSON-Beispiel:

{
  "Logging": {
    "EnableLogging": true
  }
}

Wenn Sie diese Protokolle aktivieren, werden sie erst in der running-Phase Ihrer Serverless- Replikation angezeigt. Sie werden in derselben Protokollgruppe wie der vorherige Protokollstream angezeigt, befinden sich jedoch unter dem neuen Protokollstream dms-serverless-serv-res-id-{unique identifier}. Im folgenden Abschnitt finden Sie Informationen zur Interpretation von Serverless-Replikationsprotokollen.

Beispiele für Serverless-Replikationsprotokolle

Dieser Abschnitt enthält Beispiele für Protokolleinträge für Serverless-Replikationen.

Beispiel: Start der Replikation

Wenn Sie eine serverlose Replikation ausführen, AWS DMS wird ein Protokolleintrag erstellt, der dem folgenden ähnelt:

{'replication_state':'initializing', 'message': 'Initializing the replication workflow.'}
Beispiel: Replikationsfehler

Wenn einer der Endpunkte der Replikation nicht richtig konfiguriert ist, wird ein Protokolleintrag AWS DMS erstellt, der dem folgenden ähnelt:

{'replication_state':'failed', 'message': 'Test connection failed for endpoint X.', 'failure_message': 'X'}

Wenn Sie diese Meldung nach einem Fehler in Ihrem Protokoll sehen, stellen Sie sicher, dass der angegebene Endpunkt fehlerfrei und korrekt konfiguriert ist.

Verbesserter Durchsatz für Full-Load Migrationen von Oracle zu Amazon Redshift und Amazon S3

AWS DMS bietet eine deutlich verbesserte Durchsatzleistung für Volllastmigrationen von Oracle zu Amazon Redshift und Amazon S3. DMS aktiviert diese Funktion automatisch für Tabellen ohne die benutzerdefinierte parallel-load Option in den Tabellenzuordnungen. Bei Tabellen mit benutzerdefinierten Optionen für paralleles Laden verteilt DMS Serverless die Tabellenlast auf der Grundlage der angegebenen Tabellenzuordnungskonfigurationen. Gehen Sie wie folgt vor, um den erhöhten Durchsatz zu verwenden:

  • Geben Sie Auswahlregeln an, die sich nicht auf Partitionen oder Grenzen beziehen. Wenn die Tabelleneinstellungen in den Tabellenzuordnungen beispielsweise Folgendes enthaltenparallel-load, verwendet DMS Serverless die Funktion „Verbesserter Durchsatz“ nicht. Weitere Informationen finden Sie unter Auswahlregeln und Aktionen.

  • Setzen Sie MaxFileSize und auf 64 MB. WriteBufferSize Weitere Informationen finden Sie unter Endpunkteinstellungen bei Verwendung von Amazon Redshift als Ziel für AWS DMS.

  • Wir empfehlenCompressCsvFiles, true für einen Datenspeicher mit wenigen Daten und false für einen Datenspeicher mit hoher Datendichte die Einstellung auf einzustellen.

  • Stellen Sie die folgenden Taskeinstellungen ein auf0:

    • ParallelLoadThreads

    • ParallelLoadQueuesPerThread

    • ParallelApplyThreads

    • ParallelApplyQueuesPerThread

    • ParallelLoadBufferSize

  • Stellen Sie MaxFullLoadSubTasks diese Option auf 49 ein, um die parallele Datenmigration zu unterstützen.

  • Setzen Sie LOB mode auf inline. Weitere Informationen finden Sie unter Einstellung der LOB-Unterstützung für Quelldatenbanken in einem AWS DMS Aufgabe.

AWS DMS bietet keine verbesserte Durchsatzleistung für die folgenden Replizierungen:

Grundlegendes zu Storage Autoscaling in AWS DMS Serverless

Wenn Sie einen Replikationsvorgang starten, weist AWS DMS Serverless 100 GB anfänglichen Speicher für die Replikation zu. Speicherplatz wird in erster Linie von Protokolldateien und zwischengespeicherten Transaktionen belegt. Für die zwischengespeicherten Transaktionen wird Speicherplatz nur verwendet, wenn die zwischengespeicherten Transaktionen auf Festplatte geschrieben werden müssen. Daher verwendet AWS DMS Serverless keine nennenswerte Menge an Speicherplatz. Es gibt jedoch folgende Ausnahmen:

  • Sehr große Tabellen, bei der viele Transaktionen geladen werden. Das Laden einer großen Tabelle kann einige Zeit in Anspruch nehmen, sodass zwischengespeicherte Transaktionen eher während des Ladens einer großen Tabelle auf Festplatte geschrieben werden.

  • Aufgaben, die so konfiguriert sind, dass sie vor dem Laden zwischengespeicherter Transaktionen angehalten werden. In diesem Fall werden alle Transaktionen zwischengespeichert, bis der vollständige Ladevorgang für alle Tabellen abgeschlossen ist. Bei dieser Konfiguration wird möglicherweise eine angemessene Menge an Speicherplatz durch die zwischengespeicherten Transaktionen verbraucht.

  • Aufgaben, die mit Tabellen konfiguriert sind, die in Amazon Redshift geladen werden. Diese Konfiguration ist kein Problem, wenn Amazon Aurora das Ziel ist.

Daher überwacht AWS DMS Serverless die Speichernutzung alle 15 Minuten. Sobald der zugewiesene Speicher zu 90 Prozent ausgelastet ist, skaliert AWS DMS Serverless die Replikation mit zusätzlichem Speicher. Falls der Speicher der Replikation zu 100 Prozent genutzt wird und die Replikationsaufgaben vor oder während des Skalierungsvorgangs fehlschlagen, nimmt DMS Serverless die Aufgaben wieder auf, sobald die Skalierung erfolgreich abgeschlossen ist.

Anmerkung

  • Full-load Operationen werden für alle unvollständigen Tabellen von Anfang an neu gestartet, wenn Sie eine zuvor gestoppte Aufgabe fortsetzen.

  • Während des Speicherskalierungsereignisses hat dies keine Auswirkungen auf die Leistung der DMS-Aufgabe.

  • Zwischen zwei automatischen Speicherskalierungsereignissen gibt es keine Abkühlungsperiode.