Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Aurora Zero-ETL-Integrationen
Es handelt sich um eine vollständig verwaltete Lösung, mit der Sie Transaktionsdaten in Ihrem Analyseziel verfügbar machen können, nachdem sie in einen Aurora DB-Cluster der geschrieben wurden. Beim Extrahieren, Transformieren und Laden (ETL) werden Daten aus mehreren Quellen in einem großen, zentralen Data Warehouse kombiniert.
Eine Zero-ETL-Integration macht die Daten in Ihrem Aurora-DB-Cluster in Ihrer in Amazon Redshift oder einem Amazon SageMaker Lakehouse nahezu in Echtzeit verfügbar. Sobald sich diese Daten im Ziel-Data Warehouse oder Data Lake befinden, können Sie Ihre Analyse-, ML- und KI-Workloads mithilfe der integrierten Funktionen wie maschinelles Lernen, materialisierte Ansichten, gemeinsame Nutzung von Daten, Verbundzugriff auf mehrere Datenspeicher und Data Lakes sowie Integrationen mit Amazon SageMaker AI und anderen unterstützen. QuickSight AWS-Services
Um eine Zero-ETL-Integration zu erstellen, geben Sie einen Aurora-DB-Cluster für die als Quelle und ein unterstütztes Data Warehouse oder Lakehouse als Ziel an. Die Integration repliziert Daten aus der Quelldatenbank in das Ziel-Data Warehouse oder Lakehouse.
Das folgende Diagramm veranschaulicht diese Funktionalität für die Zero-ETL-Integration mit Amazon Redshift:

Das folgende Diagramm veranschaulicht diese Funktionalität für die Zero-ETL-Integration mit einem Lakehouse: Amazon SageMaker

Die Integration überwacht den Zustand der Datenpipeline und behebt nach Möglichkeit Probleme. Sie können Integrationen aus mehreren Aurora-DB-Clustern von mehreren in ein einziges Ziel-Data Warehouse oder Lakehouse erstellen, sodass Sie Erkenntnisse über mehrere Anwendungen hinweg gewinnen können.
Informationen zu den Preisen für Zero-ETL-Integrationen finden Sie unter und Amazon
Themen
Vorteile
Aurora Zero-ETL-Integrationen bieten die folgenden Vorteile:
-
Sie helfen Ihnen dabei, ganzheitliche Erkenntnisse aus mehreren Datenquellen zu gewinnen.
-
Eliminieren Sie die Erfordernis zur Erstellung und Verwaltung komplexer Daten-Pipelines, die Extract, Transform, Load (ETL)-Operationen ausführen. Null-ETL-Integrationen beseitigen die Herausforderungen, die mit dem Aufbau und der Verwaltung von Pipelines einhergehen, indem sie diese für Sie bereitstellen und verwalten.
-
Sie reduzieren den Betriebsaufwand und die Kosten, sodass Sie sich ganz auf die Verbesserung Ihrer Anwendungen konzentrieren können.
-
Sie können die Analyse- und ML-Funktionen des Zielorts nutzen, um Erkenntnisse aus Transaktions- und anderen Daten zu gewinnen und effektiv auf kritische, zeitkritische Ereignisse zu reagieren.
Die wichtigsten Konzepte
Wenn Sie mit Null-ETL-Integrationen beginnen, sollten Sie die folgenden Konzepte berücksichtigen:
- Integration
-
Eine vollständig verwaltete Datenpipeline, die automatisch Transaktionsdaten und Schemas aus einem Aurora-DB-Cluster einer in ein Data Warehouse oder einen Katalog repliziert.
-
Der Aurora-DB-Cluster der , aus dem Daten repliziert werden. Sie können einen DB-Cluster angeben, der bereitgestellte DB-Instances oder Aurora Serverless v2 DB-Instances als Quelle verwendet.
- Ziel
-
Das Data Warehouse oder Lakehouse, in das die Daten repliziert werden. Es gibt zwei Arten von Data Warehouse: ein bereitgestelltes Cluster-Data-Warehouse und ein Serverless-Data-Warehouse. Ein bereitgestelltes Cluster-Data-Warehouse ist eine Sammlung von Datenverarbeitungsressourcen, den sogenannten Knoten, die zu einer Gruppe, einem sogenannten Cluster, zusammengefasst werden. Ein Serverless-Data-Warehouse besteht aus einer Arbeitsgruppe, die Datenverarbeitungsressourcen speichert, und einem Namespace, in dem die Datenbankobjekte und Benutzer gespeichert sind. Beide Data Warehouses verwenden eine Analyse-Engine und enthalten eine oder mehrere Datenbanken.
Ein Ziel-Lakehouse besteht aus Katalogen, Datenbanken, Tabellen und Ansichten. Weitere Informationen zur Lakehouse-Architektur finden Sie Amazon SageMaker Lakehouse componentsim Amazon SageMaker Unified Studio Benutzerhandbuch.
DB-Cluster können mehrere auf dasselbe Ziel schreiben.
Weitere Informationen finden Sie unter Architektur des Data-Warehouse-Systems im Entwicklerhandbuch zu Amazon Redshift.
Einschränkungen
Die folgenden Einschränkungen gelten für Aurora Zero-ETL-Integrationen.
Themen
Allgemeine Einschränkungen
-
Der muss sich in derselben Region wie das Ziel befinden.
-
Sie können einen oder eine seiner Instances nicht umbenennen, wenn er über bestehende Integrationen verfügt.
-
Sie können nicht mehrere Integrationen zwischen derselben Quell- und Zieldatenbank erstellen.
-
Sie können keinen löschen, der über bestehende Integrationen verfügt. Sie müssen zuerst alle zugehörigen Integrationen löschen.
-
Wenn Sie den beenden, werden die letzten Transaktionen möglicherweise nicht auf das Ziel repliziert, bis Sie den wieder aufnehmen.
-
Wenn Ihr die Quelle einer blauen/grünen Bereitstellung ist, können die blauen und grünen Umgebungen während des Switchovers keine vorhandenen Zero-ETL-Integrationen enthalten. Sie müssen zuerst die Integration löschen und umstellen. Anschließend erstellen Sie die Integration neu.
-
Ein DB-Cluster muss mindestens eine DB-Instance enthalten, um die Quelle einer Integration zu sein.
-
Sie können keine Integration für einen Quell-DB-Cluster erstellen, bei dem es sich um einen kontoübergreifenden Klon handelt, wie z. B. solche, die mit AWS Resource Access Manager (AWS RAM) gemeinsam genutzt werden.
-
Wenn der DB-Quell-Cluster in einer globalen Aurora-Datenbank verwendet wird und ein Failover zu einem der sekundären Cluster erfolgt, wird die Integration inaktiv. Sie müssen die Integration löschen und erneut erstellen.
-
Sie können keine Integration für eine Quelldatenbank erstellen, für die aktiv eine andere Integration erstellt wird.
-
Wenn Sie zum ersten Mal eine Integration erstellen oder wenn eine Tabelle erneut synchronisiert wird, kann das Seeding von Daten von der Quelle zum Ziel je nach Größe der Quelldatenbank 20 bis 25 Minuten oder länger dauern. Diese Verzögerung kann zu einer erhöhten Replikatverzögerung führen.
-
Einige Datentypen werden nicht unterstützt. Weitere Informationen finden Sie unter Datentypunterschiede zwischen Aurora und Amazon Redshift-Datenbanken.
-
Systemtabellen, temporäre Tabellen und Ansichten werden nicht in Ziel-Warehouses repliziert.
-
ALTER TABLE
Partitionsoperationen führen dazu, dass Ihre Tabelle neu synchronisiert wird, um Daten von Aurora zum Analyseziel neu zu laden. Die Tabelle kann während der Resynchronisierung nicht abgefragt werden. Weitere Informationen finden Sie unter Eine oder mehrere meiner Amazon-Redshift-Tabellen erfordern eine erneute Synchronisation.
Einschränkungen von Aurora MySQL
-
Auf Ihrem Quell-DB-Cluster muss eine unterstützte Version von Aurora MySQL ausgeführt werden. Eine Liste der unterstützten Versionen finden Sie unter Unterstützte Regionen und Aurora-DB-Engines für Zero-ETL-Integrationen.
-
Null-ETL-Integrationen benötigen die MySQL-Binärprotokollierung (Binlog), um laufende Datenänderungen zu erfassen. Verwenden Sie keine binlogbasierte Datenfilterung, da dies zu Dateninkonsistenzen zwischen der Quell- und der Zieldatenbank führen kann.
-
Null-ETL-Integrationen werden nur für Datenbanken unterstützt, die für die Verwendung der InnoDB-Speicher-Engine konfiguriert sind.
-
Fremdschlüsselverweise mit vordefinierten Tabellenaktualisierungen werden nicht unterstützt. Insbesondere werden
ON UPDATE
Regeln mitCASCADE
SET NULL
, undSET DEFAULT
-Aktionen nicht unterstützt.ON DELETE
Der Versuch, eine Tabelle mit solchen Verweisen in einer anderen Tabelle zu erstellen oder zu aktualisieren, führt zu einem Fehlschlag der Tabelle. -
XA-Transaktionen
, die auf dem Quell-DB-Cluster ausgeführt werden, bewirken, dass die Integration in den Status von wechselt. Syncing
Einschränkungen von Aurora PostgreSQL
-
Auf Ihrem Quell-DB-Cluster muss eine unterstützte Version von Aurora PostgreSQL ausgeführt werden. Eine Liste der unterstützten Versionen finden Sie unter Unterstützte Regionen und Aurora-DB-Engines für Zero-ETL-Integrationen.
-
Wenn Sie einen Aurora PostgreSQL-Quell-DB-Cluster auswählen, müssen Sie mindestens ein Datenfiltermuster angeben. Das Muster muss mindestens eine einzelne Datenbank (
) für die Replikation in das Ziel-Warehouse enthalten. Weitere Informationen finden Sie unter Datenfilterung für Aurora Zero-ETL-Integrationen.database-name
.*.* -
Alle Datenbanken, die im Aurora PostgreSQL-Quell-DB-Cluster erstellt wurden, müssen die UTF-8-Kodierung verwenden.
-
Wenn Sie deklarative Partitionierungstransaktionen
auf dem Quell-DB-Cluster durchführen, gehen alle betroffenen Tabellen in den Status „Fehlgeschlagen“ über und sind nicht mehr zugänglich. -
Zweiphasige Transaktionen werden
nicht unterstützt. -
Wenn Sie alle DB-Instances aus einem DB-Cluster löschen, der die Quelle einer Integration ist, und dann eine DB-Instance erneut hinzufügen, wird die Replikation zwischen dem Quell- und dem Zielcluster unterbrochen.
-
Der Quell-DB-Cluster kann Aurora Limitless Database nicht verwenden.
Einschränkungen für Amazon Redshift
Eine Liste der Einschränkungen von Amazon Redshift im Zusammenhang mit Zero-ETL-Integrationen finden Sie unter Überlegungen zur Verwendung von Zero-ETL-Integrationen mit Amazon Redshift im Amazon Redshift Management Guide.
Amazon SageMakerEinschränkungen bei Lakehouse
Im Folgenden finden Sie eine Einschränkung für Amazon SageMaker Lakehouse Zero-ETL-Integrationen.
-
Katalognamen sind auf eine Länge von 19 Zeichen begrenzt.
Kontingente
Ihr Konto hat die folgenden Kontingente für Aurora Zero-ETL-Integrationen. Jedes Kontingent gilt pro Region, sofern nicht anders angegeben.
Name | Standard | Beschreibung |
---|---|---|
Integrationen | 100 | Die Gesamtzahl der Integrationen innerhalb eines AWS-Konto. |
Integrationen pro Ziel | 50 | Die Anzahl der Integrationen, die Daten an ein einzelnes Ziel-Data Warehouse oder Lakehouse senden. |
Integrationen pro Quell-Cluster | 5 | Die Anzahl der Integrationen, die Daten von einem einzelnen senden. |
Darüber hinaus legt das Ziel-Warehouse bestimmte Beschränkungen für die Anzahl der Tabellen fest, die in jeder DB-Instance oder jedem Clusterknoten zulässig sind. Weitere Informationen zu Amazon Redshift-Kontingenten und -Limits finden Sie unter Kontingente und Limits in Amazon Redshift im Amazon Redshift Management Guide.
Unterstützte Regionen
Aurora Zero-ETL-Integrationen sind in einer Teilmenge von verfügbar. AWS-Regionen Eine Liste der unterstützten -Regionen finden Sie unter Unterstützte Regionen und Aurora-DB-Engines für Zero-ETL-Integrationen.