View a markdown version of this page

Exportieren Sie Amazon RDS for SQL Server-Tabellen in einen S3-Bucket mithilfe von AWS DMS - AWS Prescriptive Guidance
ZusammenfassungVoraussetzungen und EinschränkungenArchitekturToolsBest PracticesEpenFehlerbehebungZugehörige RessourcenZusätzliche Informationen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Exportieren Sie Amazon RDS for SQL Server-Tabellen in einen S3-Bucket mithilfe von AWS DMS

Subhani Shaik, Amazon Web Services

Zusammenfassung

Amazon Relational Database Service (Amazon RDS) für SQL Server unterstützt das Laden von Daten auf andere mit der Datenbankengine verknüpfte Server in der Amazon Web Services (AWS) Cloud nicht. Stattdessen können Sie AWS Database Migration Service (AWS DMS) verwenden, um Amazon RDS for SQL Server-Tabellen in einen Amazon Simple Storage Service (Amazon S3) -Bucket zu exportieren, wo die Daten für andere DB-Engines verfügbar sind.

AWS DMS hilft Ihnen dabei, Datenbanken AWS schnell und sicher zu migrieren. Die Quelldatenbank bleibt während der Migration voll funktionsfähig, wodurch die Ausfallzeiten von Anwendungen, die auf die Datenbank angewiesen sind, minimiert werden. AWS DMS kann Ihre Daten zu und von den am häufigsten verwendeten kommerziellen und Open-Source-Datenbanken migrieren.

Dieses Muster wird AWS Secrets Manager bei der Konfiguration der AWS DMS Endpunkte verwendet. Secrets Manager hilft Ihnen beim Schutz von Geheimnissen, die Sie für den Zugriff auf Ihre Anwendungen, Dienste und IT-Ressourcen benötigen. Sie können den Service verwenden, um Datenbankanmeldedaten, API-Schlüssel und andere Geheimnisse während ihres gesamten Lebenszyklus zu rotieren, zu verwalten und abzurufen. Benutzer und Anwendungen rufen Geheimnisse mit einem Aufruf von Secrets Manager ab, wodurch die Notwendigkeit reduziert wird, vertrauliche Informationen fest zu codieren. Secrets Manager bietet geheime Rotation mit integrierter Integration für Amazon RDS, Amazon Redshift und Amazon DocumentDB (mit MongoDB-Kompatibilität). Der Service ist auch auf andere Arten von Geheimnissen erweiterbar, darunter API-Schlüssel und OAuth-Token. Mit Secrets Manager können Sie den Zugriff auf geheime Daten kontrollieren, indem Sie detaillierte Berechtigungen verwenden und die geheime Rotation zentral für Ressourcen in der AWS Cloud, in Diensten von Drittanbietern und vor Ort überprüfen.

Voraussetzungen und Einschränkungen

Voraussetzungen

  • Ein aktiver AWS-Konto

  • Ein Amazon S3 S3-Bucket

  • Eine Virtual Private Cloud (VPC)

  • Ein DB-Subnetz

  • Amazon RDS für SQL Server

  • Eine AWS Identity and Access Management (IAM-) Rolle mit Zugriff (Objekte auflisten, abrufen und ablegen) auf den S3-Bucket im Namen der Amazon RDS-Instance

  • Secrets Manager zum Speichern der Amazon RDS-Instance-Anmeldeinformationen

Architektur

Technologie-Stack

  • Amazon RDS für SQL Server

  • AWS DMS

  • Amazon S3

  • AWS Secrets Manager

Zielarchitektur

Das folgende Diagramm zeigt die Architektur für den Export von Daten aus der Amazon RDS-Instance in den Amazon S3 S3-Bucket mit Hilfe von AWS DMS.

Die Beschreibung folgt dem Diagramm.

  1. Die AWS DMS Migrationsaufgabe, die über den Quellendpunkt eine Verbindung zur Amazon RDS-Quellinstanz herstellt

  2. Daten aus der Amazon RDS-Quellinstanz kopieren

  3. Die AWS DMS Migrationsaufgabe, die über den Zielendpunkt eine Verbindung zum Amazon S3 S3-Ziel-Bucket herstellt

  4. Exportieren kopierter Daten in den Amazon S3 S3-Bucket im CSV-Format (Comma Separated Values)

Tools

AWS-Services

Andere Tools

Best Practices

  • Führen Sie vor der vollständigen Migration eine Machbarkeitsstudie mit einer Teilmenge von Tabellen durch, um die Leistung zu bewerten und Probleme zu identifizieren.

  • Vermeiden Sie es, AWS DMS Aufgaben zu Spitzenzeiten der Datenbank auszuführen, um die Belastung der Amazon RDS-Quell-Instance zu reduzieren.

  • Folgen Sie den Best Practices für AWS DMS.

  • Folgen Sie den bewährten Sicherheitsmethoden für Amazon S3.

Epen

AufgabeDescriptionErforderliche Fähigkeiten

Erstellen Sie die Amazon RDS for SQL Server-Instance.

  1. Öffnen Sie die AWS-Managementkonsole, wählen Sie RDS und verwenden Sie die Option Standard create, um eine Amazon RDS-Instance mit der erforderlichen Edition wie SQL Server Express Edition, SQL Server Standard Edition oder SQL Server Enterprise Edition zu erstellen. Wählen Sie für die Version 2016 oder später.

  2. Wählen Sie unter Vorlagen die Option Dev/Test.

DBA, Ingenieur DevOps

Richten Sie Anmeldeinformationen für die Instanz ein.

  1. Geben Sie einen Namen für die Instanz ein.

  2. Geben Sie einen Benutzernamen und ein Passwort für die Amazon RDS-Instance ein.

DBA, Ingenieur DevOps

Konfigurieren Sie die Instanzklasse, den Speicher, die auto Skalierung und die Verfügbarkeit.

  1. Wählen Sie die DB-Instance-Klasse aus der Liste aus: Standard -, Memory Optimized - und Burstable-Klassen. Wählen Sie den DB-Instance-Typ, der die Rechen-, Netzwerk- und Speicherkapazität zuweist, die für die für diese DB-Instance geplanten Workloads erforderlich sind. Weitere Informationen finden Sie in der AWS -Dokumentation.

  2. Wählen Sie den Speichertyp aus der Liste aus: Allzweck-SSD, Provisioned IOPS SSD oder Magnetic. Weisen Sie die Standardspeichergröße nach Bedarf zu.

  3. Wählen Sie Automatische Speicherskalierung aktivieren, um den Amazon RDS-Speicher auf der Grundlage Ihrer Kapazitätsplanung zu erhöhen.

  4. Eine Multi-AZ Bereitstellung mit einer Replikationsinstanz wird unterstützt von AWS DMS. Im Falle eines Ausfalls in der Availability Zone erstellt die interne Hardware oder das Netzwerk eine Standby-Instanz und sorgt durch automatischen Failover auf die Standby-Replikate für Hochverfügbarkeit (HA). AWS DMS Wählen Sie je nach Größe Ihres Imports die entsprechende Option aus.

DBA, Ingenieur DevOps

Geben Sie die VPC, die Subnetzgruppe, den öffentlichen Zugriff und die Sicherheitsgruppe an.

Wählen Sie die VPC, die DB-Subnetzgruppen und die VPC-Sicherheitsgruppe nach Bedarf aus, um die Amazon RDS-Instance zu erstellen. Folgen Sie den bewährten Methoden, zum Beispiel:

  • Aktivieren Sie keinen öffentlichen Zugriff auf die Amazon RDS-Instance.

  • Verwenden Sie nicht CIDR 0.0.0. 0/0 in den Sicherheitsgruppen.

  • Verwenden Sie nur die erforderlichen IP-Adressen und Portdetails, um auf die Amazon RDS-Instance zuzugreifen.

DBA, Ingenieur DevOps

Konfigurieren Sie Überwachung, Sicherung und Wartung.

  1. Geben Sie die gewünschten Backup-Optionen an. Standardmäßig sind automatische Backups mit einer Aufbewahrungsfrist von 7 Tagen aktiviert.

  2. Wählen Sie die entsprechenden Einstellungen für das auto Upgrade der Nebenversion und das Wartungsfenster, um die ausstehenden Änderungen oder Wartungsarbeiten durch Amazon RDS auf die Datenbank anzuwenden.

  3. Wählen Sie Datenbank erstellen aus.

DBA, Ingenieur DevOps
AufgabeDescriptionErforderliche Fähigkeiten

Erstellen Sie eine Tabelle und laden Sie die Beispieldaten.

Erstellen Sie in der neuen Datenbank eine Tabelle. Verwenden Sie den Beispielcode im Abschnitt Zusätzliche Informationen, um Daten in die Tabelle zu laden.

DBA, Ingenieur DevOps
AufgabeDescriptionErforderliche Fähigkeiten

Erstellen Sie das Geheimnis.

  1. Wählen Sie auf der Konsole Secrets Manager und anschließend Store a new secret aus.

  2. Geben Sie einen Benutzernamen und ein Passwort für die Amazon RDS for SQL Server Server-Datenbank ein.

Dieses Geheimnis wird für den AWS DMS Quellendpunkt verwendet.

DBA, Ingenieur DevOps
AufgabeDescriptionErforderliche Fähigkeiten

Erstellen Sie eine IAM-Rolle für den Zugriff auf Amazon RDS.

  1. Wählen Sie auf der Konsole IAM und erstellen Sie eine IAM-Rolle, die einem S3-Bucket read/write Zugriff auf Amazon RDS gewährt.

  2. Wählen Sie unter Funktion die Option S3-Integration aus.

DBA, Ingenieur DevOps
AufgabeDescriptionErforderliche Fähigkeiten

Erstellen Sie den Amazon S3 S3-Bucket.

Um die Daten von Amazon RDS for SQL Server zu speichern, wählen Sie in der Konsole S3 und dann Create Bucket aus. Stellen Sie sicher, dass der Amazon S3 S3-Bucket nicht öffentlich verfügbar ist.

DBA, Ingenieur DevOps
AufgabeDescriptionErforderliche Fähigkeiten

Erstellen Sie eine IAM-Rolle für den AWS DMS Zugriff auf Amazon S3.

Erstellen Sie eine IAM-Rolle, die das Auflisten, Abrufen und Platzieren von Objekten aus dem Amazon S3 S3-Bucket ermöglicht AWS DMS .

DBA, Ingenieur DevOps
AufgabeDescriptionErforderliche Fähigkeiten

Erstellen Sie den AWS DMS Quellendpunkt.

  1. Wählen Sie in der Konsole Database Migration Service und dann Endpoints aus. Erstellen Sie den Quellendpunkt und aktivieren Sie das Kontrollkästchen RDS-DB-Instance auswählen.

  2. Wählen Sie für die Quell-Engine Microsoft SQL Server aus.

  3. Wählen Sie AWS Secrets Managerunter Zugriff auf die Endpunktdatenbank die geheime und die IAM-Rolle aus, die Sie zuvor erstellt haben, und geben Sie den Datenbanknamen ein.

  4. Testen Sie den Quellendpunkt.

DBA, Ingenieur DevOps

Erstellen Sie den AWS DMS Zielendpunkt.

Erstellen Sie den Target-Endpunkt und wählen Sie Amazon S3 als Target-Engine aus.

Geben Sie den Amazon S3 S3-Bucket-Namen und den Ordnernamen für die IAM-Rolle an, die Sie zuvor erstellt haben.

DBA, Ingenieur DevOps

Erstellen Sie die AWS DMS Replikationsinstanz.

Erstellen Sie in derselben VPC, demselben Subnetz und derselben Sicherheitsgruppe die AWS DMS Replikationsinstanz. Weitere Informationen zur Auswahl einer Instanzklasse finden Sie in der AWS Dokumentation.

DBA, Ingenieur DevOps

Erstellen Sie die AWS DMS Migrationsaufgabe.

Um die Daten von Amazon RDS for SQL Server in den Amazon S3 S3-Bucket zu exportieren, erstellen Sie eine Datenbankmigrationsaufgabe. Wählen Sie für den Migrationstyp die Option Bestehende Daten migrieren aus. Wählen Sie die AWS DMS Endpoints und die Replikationsinstanz aus, die Sie erstellt haben.

DBA, Ingenieur DevOps
AufgabeDescriptionErforderliche Fähigkeiten

Führen Sie die Aufgabe zur Datenbankmigration aus.

Um die SQL Server-Tabellendaten zu exportieren, starten Sie die Datenbankmigrationsaufgabe. Die Aufgabe exportiert die Daten von Amazon RDS for SQL Server in den Amazon S3 S3-Bucket im CSV-Format.

DBA, Ingenieur DevOps
AufgabeDescriptionErforderliche Fähigkeiten

Löschen Sie die Ressourcen.

Um zusätzliche Kosten zu vermeiden, verwenden Sie die Konsole, um die Ressourcen in der folgenden Reihenfolge zu löschen:

  1. Migrationsaufgabe

  2. Replikations-Instance

  3. Endpunkte

  4. Amazon-S3-Bucket

  5. Datenbank-Instance

DBA, Ingenieur DevOps

Fehlerbehebung

ProblemLösung

Fehlersuche bei Verwendung von Microsoft SQL Server

Weitere Informationen zur Behebung von Problemen mit Microsoft SQL Server bei der Verwendung AWS DMS finden Sie unter Problembehandlung mit Microsoft SQL Server.

Problembehandlung bei Migrationsaufgaben

Weitere Informationen zur Behebung von Migrationsproblemen bei der Verwendung AWS DMS finden Sie unter Problembehandlung bei Migrationsaufgaben in AWS Database Migration Service.

Zugehörige Ressourcen

Zusätzliche Informationen

Verwenden Sie den folgenden Code, um die Datenbank und die Tabelle zu erstellen und die Beispieldaten zu laden:

--Step1: Database creation in RDS SQL Server
CREATE DATABASE [Test_DB]
 ON  PRIMARY
( NAME = N'Test_DB', FILENAME = N'D:\rdsdbdata\DATA\Test_DB.mdf' , SIZE = 5120KB , FILEGROWTH = 10%)
 LOG ON
( NAME = N'Test_DB_log', FILENAME = N'D:\rdsdbdata\DATA\Test_DB_log.ldf' , SIZE = 1024KB , FILEGROWTH = 10%)
GO

--Step2: Create Table
USE Test_DB
GO
Create Table Test_Table(ID int, Company Varchar(30), Location Varchar(20))

--Step3: Load sample data.
USE Test_DB
GO
Insert into Test_Table values(1,'AnyCompany','India')
Insert into Test_Table values(2,'AnyCompany','USA')
Insert into Test_Table values(3,'AnyCompany','UK')
Insert into Test_Table values(4,'AnyCompany','Hyderabad')
Insert into Test_Table values(5,'AnyCompany','Banglore')