Null-ETL-Integrationen von Amazon RDS - Amazon Relational Database Service

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Null-ETL-Integrationen von Amazon RDS

Es handelt sich um eine vollständig verwaltete Lösung, die Transaktionsdaten in Ihrem Analyseziel verfügbar macht, nachdem diese in eine RDS-Datenbank geschrieben wurden. Extract, Transform, Load (ETL) bezeichnet die Kombination von Daten aus mehreren Quellen in einem großen, zentralen Data Warehouse.

Eine Null-ETL-Integration macht die Daten in Ihrer RDS-Datenbank in Amazon Redshift oder einem Amazon SageMaker AI -Lakehouse nahezu in Echtzeit verfügbar. Sobald sich diese Daten im Ziel-Data Warehouse oder Data Lake befinden, können Sie Ihre Analyse-, ML- und KI-Workloads mithilfe der integrierten Funktionen wie maschinelles Lernen, materialisierte Ansichten, gemeinsame Nutzung von Daten, Verbundzugriff auf mehrere Datenspeicher und Data Lakes sowie Integrationen mit Amazon SageMaker AI, Quick Suite und anderen unterstützen. AWS-Services

Um eine Null-ETL-Integration zu erstellen, geben Sie eine RDS-Datenbank als Quelle und ein unterstütztes Data Warehouse oder Lakehouse als Ziel an. Bei der Integration werden Daten aus der Quelldatenbank in das Ziel-Data-Warehouse oder -Lakehouse repliziert.

Das folgende Diagramm veranschaulicht diese Funktion für die Null-ETL-Integration mit Amazon Redshift:

Eine Null-ETL-Integration

Das folgende Diagramm veranschaulicht diese Funktion für die Null-ETL-Integration mit einem Amazon SageMaker AI -Lakehouse:

Eine Zero-ETL-Integration mit einem Lakehouse Amazon SageMaker AI

Die Integration überwacht den Zustand der Datenpipeline und behebt nach Möglichkeit Probleme. Sie können Integrationen aus mehreren RDS-Datenbanken in ein einziges Ziel-Data-Warehouse oder -Lakehouse erstellen und dadurch Erkenntnisse aus mehreren Anwendungen gewinnen.

Vorteile

Null-ETL-Integrationen von RDS bieten die folgenden Vorteile:

  • Sie helfen Ihnen dabei, ganzheitliche Erkenntnisse aus mehreren Datenquellen zu gewinnen.

  • Eliminieren Sie die Erfordernis zur Erstellung und Verwaltung komplexer Daten-Pipelines, die Extract, Transform, Load (ETL)-Operationen ausführen. Null-ETL-Integrationen beseitigen die Herausforderungen, die mit dem Aufbau und der Verwaltung von Pipelines einhergehen, indem sie diese für Sie bereitstellen und verwalten.

  • Sie reduzieren den Betriebsaufwand und die Kosten, sodass Sie sich ganz auf die Verbesserung Ihrer Anwendungen konzentrieren können.

  • Sie ermöglichen die Nutzung der Analyse- und ML-Funktionen des Ziels zum Gewinnen von Erkenntnissen aus Transaktions- und anderen Daten, um effektiv auf (zeit-)kritische Ereignisse reagieren zu können.

Die wichtigsten Konzepte

Wenn Sie mit Null-ETL-Integrationen beginnen, sollten Sie die folgenden Konzepte berücksichtigen:

Integration

Eine vollständig verwaltete Daten-Pipeline, die automatisch Transaktionsdaten und Schemata aus einer RDS-Datenbank in ein Data Warehouse oder einen Katalog repliziert.

Quelldatenbank

Die RDS-Datenbank, von wo aus die Daten repliziert werden. Sie können eine Single-AZ- oder Multi-AZ-DB-Instance oder einen Multi-AZ-DB-Cluster (nur für RDS für MySQL) angeben.

Target

Das Data Warehouse oder Lakehouse, in das die Daten repliziert werden. Es gibt zwei Arten von Data Warehouse: ein bereitgestelltes Cluster-Data-Warehouse und ein Serverless-Data-Warehouse. Ein bereitgestelltes Cluster-Data-Warehouse ist eine Sammlung von Datenverarbeitungsressourcen, den sogenannten Knoten, die zu einer Gruppe, einem sogenannten Cluster, zusammengefasst werden. Ein Serverless-Data-Warehouse besteht aus einer Arbeitsgruppe, die Datenverarbeitungsressourcen speichert, und einem Namespace, in dem die Datenbankobjekte und Benutzer gespeichert sind. In beiden Data Warehouses wird eine Analyse-Engine ausgeführt und beide enthalten eine oder mehrere Datenbanken.

Ein Ziel-Lakehouse besteht aus Katalogen, Datenbanken, Tabellen und Ansichten. Weitere Informationen zur Lakehouse-Architektur finden Sie unter SageMaker Lakehouse components im Amazon SageMaker AI Unified Studio-Benutzerhandbuch.

Mehrere Quelldatenbanken können in dasselbe Ziel schreiben.

Weitere Informationen finden Sie unter Architektur des Data-Warehouse-Systems im Entwicklerhandbuch zu Amazon Redshift.

Einschränkungen

Die folgenden Einschränkungen gelten für Null-ETL-Integrationen von RDS.

Allgemeine Einschränkungen

  • Die Quelldatenbank muss sich in derselben Region befinden wie das Ziel.

  • Sie können eine Datenbank nicht umbenennen, wenn das Element über bestehende Integrationen verfügt.

  • Sie können nicht mehrere Integrationen zwischen derselben Quell- und Zieldatenbank erstellen.

  • Sie können eine Datenbank mit bestehenden Integrationen nicht löschen. Sie müssen zuerst alle zugehörigen Integrationen löschen.

  • Wenn Sie die Quelldatenbank anhalten, werden die letzten Transaktionen möglicherweise erst dann in das Ziel repliziert, wenn Sie die Datenbank fortsetzen.

  • Sie können eine Integration nicht löschen, wenn die Quelldatenbank angehalten ist.

  • Wenn die Datenbank die Quelle einer Blau/Grün-Bereitstellung ist, können die blaue und die grüne Umgebung während der Umstellung keine vorhandenen Null-ETL-Integrationen haben. Sie müssen zuerst die Integration löschen und umstellen. Anschließend erstellen Sie die Integration neu.

  • Sie können keine Integration für eine Quelldatenbank erstellen, für die aktiv eine andere Integration erstellt wird.

  • Wenn Sie zum ersten Mal eine Integration erstellen oder wenn eine Tabelle erneut synchronisiert wird, kann das Seeding von Daten von der Quelle zum Ziel je nach Größe der Quelldatenbank 20 bis 25 Minuten oder länger dauern. Diese Verzögerung kann zu einer erhöhten Replikatverzögerung führen.

  • Einige Datentypen werden nicht unterstützt. Weitere Informationen finden Sie unter Datentypunterschiede zwischen RDS und Amazon Redshift-Datenbanken.

  • Systemtabellen, temporäre Tabellen und Ansichten werden nicht in Ziel-Warehouses repliziert.

  • Das Ausführen von DDL-Befehlen (z. B. ALTER TABLE) für eine Quelltabelle kann eine erneute Synchronisierung der Tabelle auslösen, wobei die Tabelle während der erneuten Synchronisierung nicht mehr abgefragt werden kann. Weitere Informationen finden Sie unter Eine oder mehrere meiner Amazon-Redshift-Tabellen erfordern eine erneute Synchronisation.

Einschränkungen von RDS für MySQL

  • In Ihrer Quelldatenbank muss eine unterstützte Version von RDS für MySQL ausgeführt werden. Eine Liste der unterstützten Versionen finden Sie unter Unterstützte Regionen und DB-Engines für Amazon-RDS-Null-ETL-Integrationen.

  • Zero-ETL-Integrationen werden nicht sowohl auf der primären Instance als auch auf einer Read Replica-Instance in derselben Region unterstützt. AWS

  • Null-ETL-Integrationen benötigen die MySQL-Binärprotokollierung (Binlog), um laufende Datenänderungen zu erfassen. Verwenden Sie keine Binlog-basierte Datenfilterung, da dies zu Dateninkonsistenzen zwischen der Quell- und der Zieldatenbank führen kann.

  • Null-ETL-Integrationen werden nur für Datenbanken unterstützt, die für die Verwendung der InnoDB-Speicher-Engine konfiguriert sind.

  • Fremdschlüsselverweise mit vordefinierten Tabellenaktualisierungen werden nicht unterstützt. Insbesondere werden ON DELETE- und ON UPDATE-Regeln mit CASCADE-, SET NULL- und SET DEFAULT-Aktionen nicht unterstützt. Der Versuch, eine Tabelle mit solchen Verweisen in einer anderen Tabelle zu erstellen oder zu aktualisieren, führt zu einem Fehlschlag der Tabelle.

  • Sie können keine Integration für eine Quelldatenbank erstellen, die Magnetspeicher verwendet.

Einschränkungen bei RDS für PostgreSQL

  • Die Quelldatenbank muss eine Instance von RDS für PostgreSQL mit Version 15.7+, 16.3+ oder 17.1+ sein. Frühere Versionen werden nicht unterstützt.

  • Zero-ETL-Integrationen von RDS für PostgreSQL unterstützen keine Multi-AZ-DB-Cluster als Quelldatenbanken.

  • Sie können keine Null-ETL-Integration aus einer Lesereplikat-Instance von RDS für PostgreSQL erstellen.

  • Nicht protokollierte PostgreSQL-Tabellen und materialisierte Ansichten werden nicht in Amazon Redshift repliziert.

  • Die Replikation bestimmter PostgreSQL-Datentypen wie Geometriedatentypen und Daten mit mehr als 64 KB wird aufgrund von Einschränkungen in Amazon Redshift nicht unterstützt. Weitere Informationen zu den Datentypunterschieden zwischen RDS für PostgreSQL und Amazon Redshift finden Sie unter RDS für PostgreSQL im Abschnitt Datentypunterschiede.

  • Sie können kein Hauptversion-Upgrade für die Quell-Instance von RDS für PostgreSQL durchführen, solange sie über eine aktive Null-ETL-Integration verfügt. Um die Quell-Instance zu aktualisieren, müssen Sie zunächst alle vorhandenen Null-ETL-Integrationen löschen. Nachdem das Hauptversion-Upgrade abgeschlossen ist, können Sie die Null-ETL-Integrationen erneut erstellen.

  • Wenn Sie deklarative Partitionierungstransaktionen auf der Quell-DB-Instance durchführen, gehen alle betroffenen Tabellen in den Status „failed“ über und sind nicht mehr abrufbar.

Beschränkungen von RDS für Oracle

  • Bei der Quelldatenbank muss es sich um eine Instance von RDS für Oracle handeln, auf der Version 19c Enterprise Edition oder Standard Edition 2, Versionsupdate vom Juli 2019 oder später ausgeführt wird. Frühere Versionen werden nicht unterstützt.

  • Sie können keine Null-ETL-Integration aus einer Lesereplikat-Instance von RDS für Oracle erstellen.

  • Sie können eine Tenant-Datenbank nicht umbenennen, wenn in dieser Tenant-Datenbank eine Null-ETL-Integration vorhanden ist.

  • Eine Tenant-Datenbank kann nur eine Null-ETL-Integration haben.

  • RDS für Oracle und Amazon Redshift weisen einige Datentypunterschiede auf. Weitere Informationen finden Sie unter RDS für Oracle im Abschnitt Unterschiede zwischen Datentypen.

Einschränkungen für Amazon Redshift

Eine Liste der Einschränkungen von Amazon Redshift im Zusammenhang mit Null-ETL-Integrationen finden Sie unter Überlegungen bei der Verwendung von Null-ETL-Integrationen mit Amazon Redshift im Amazon-Redshift-Managementleitfaden.

Amazon SageMaker AI Lakehouse-Einschränkungen

Im Folgenden finden Sie eine Einschränkung für Amazon SageMaker AI Lakehouse Zero-ETL-Integrationen.

  • Katalognamen sind auf von 64 Zeichen beschränkt.

Kontingente

Für Ihr Konto gelten die folgenden Kontingente in Bezug auf Null-ETL-Integrationen von RDS. Jedes Kontingent gilt pro Region, sofern nicht anders angegeben.

Name Standard Description
Integrationen 100 Die Gesamtzahl der Integrationen innerhalb eines  AWS-Konto.
Integrationen pro Ziel 50 Die Anzahl der Integrationen, die Daten an ein einzelnes Ziel-Data-Warehouse oder -Lakehouse senden.
Integrationen pro Quell-Instance 5 Die Anzahl der Integrationen, die Daten von einer einzelnen DB-Instance senden.

Darüber hinaus legt das Ziel-Warehouse bestimmte Einschränkungen für die Anzahl der zulässigen Tabellen in jeder DB-Instance oder jedem Cluster-Knoten fest. Weitere Informationen finden Sie unter Kontingente und Limits in Amazon Redshift im Amazon-Redshift-Managementleitfaden.

Unterstützte Regionen

RDS Zero-ETL-Integrationen sind in einer Teilmenge von verfügbar. AWS-Regionen Eine Liste der unterstützten -Regionen finden Sie unter Unterstützte Regionen und DB-Engines für Amazon-RDS-Null-ETL-Integrationen.