View a markdown version of this page

Integrationen erstellen und verwalten - AWS Glue

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Integrationen erstellen und verwalten

Erstellen einer Integration

In diesem Abschnitt werden die allgemeinen Schritte zum Erstellen einer Integration beschrieben. In diesem Beispiel wird Amazon DynamoDB als Quelle verwendet.

  1. Wählen Sie auf der Startseite der AWS Glue Konsole die Option Zero-ETL-Integrationen aus.

  2. Sie können alle Ihre Integrationen auf der Zero ETL-Integrationshomepage einsehen. Um eine neue Integration zu erstellen, wählen Sie Null-ETL-Integration erstellen aus.

    Der Screenshot zeigt die Hauptseite der Null-ETL-Integration.
  3. Sie werden aufgefordert, einen Quelltyp auszuwählen. Wählen Sie Ihre Quelle aus und klicken Sie auf Weiter. Informationen zu SaaS-Integrationsquellen finden Sie in den Abschnitten zur Quellkonfiguration.

  4. Wählen Sie auf der Seite Quelle und Ziel konfigurieren die Tabellen oder Entitäten aus, die repliziert werden sollen. Stellen Sie für Amazon DynamoDB sicher, dass die PITR- und RBAC-Richtlinie konfiguriert ist.

  5. Geben Sie Ihr Integrationsziel an:

    • Wählen Sie für ein AWS Glue Datenkatalogziel die AWS Glue Datenbank aus, in die Sie die Daten replizieren möchten.

    • Wählen Sie für ein Amazon Redshift Data Warehouse-Ziel den Redshift-Cluster-Namespace oder den Redshift Serverless Workgroup-Namespace aus.

    Weitere Informationen finden Sie unter Konfigurieren der Integration mit Ihrem Ziel.

  6. Geben Sie die Ziel-IAM-Rolle an, die Sie in den Voraussetzungen erstellt haben.

  7. Wenn Sie einen optionalen Ziel-KMS-Schlüssel für Ihre im Ziel gespeicherten Daten konfigurieren möchten, geben Sie einen aktivierten KMS-Schlüssel an. Wenn Sie eine Zielnetzwerkverbindung konfigurieren möchten, wählen Sie ebenfalls eine Verbindung aus. AWS Glue

  8. Mit der Schaltfläche Ziel korrigieren werden einige der Schritte im Abschnitt „Voraussetzungen“ dieser Dokumentation konfiguriert. Damit wird 1) eine Katalog-RBAC-Richtlinie bereitgestellt und 2) wenn kein Amazon-S3-URI angegeben wird, wird einer für Sie generiert, andernfalls wird der angegebene URI verwendet.

  9. Wählen Sie auf der Seite Quelle und Ziel konfigurieren im Abschnitt Ausgabeeinstellung die Option zum Aufheben der Schemaverschachtelung aus, die Sie für Ihre Daten im Ziel verwenden möchten. Wenn Sie Kundenpartitionsschlüssel für Ihre Daten verwenden möchten, wählen Sie Benutzerdefinierte Partitionsschlüssel angeben aus und geben Sie bis zu 10 Schlüssel an. Andernfalls können Sie einfach die Partitionsschlüssel verwenden, die Ihrer zu replizierenden DynamoDB-Tabelle zugewiesen sind.

  10. Im Abschnitt Sicherheit und Datenverschlüsselung können Sie einen KMS-Schlüssel angeben, der bei der Zwischenreplikation Ihrer Daten auf das Ziel verwendet wird. Andernfalls wird ein AWS verwalteter KMS-Schlüssel verwendet. Geben Sie in den Integrationsdetails einen Namen für die Null-ETL-Integration ein.

  11. Überprüfen Sie alles und stellen Sie sicher, dass alle angegebenen Details korrekt sind. Sobald Sie alles bestätigt haben, klicken Sie auf Integration erstellen und starten.

  12. Auf der Null-ETL-Startseite können Sie die von Ihnen erstellte Integration auswählen und die Details für Ihre Integrationen werden angezeigt. Der „Status“ gibt den Status Ihrer Integration an.

Ändern einer Integration

Sie können eine vorhandene Integration ändern.

  1. Wählen Sie oben rechts auf der Seite mit den Integrationsdetails die Option Bearbeiten aus.

  2. Auf der Seite Quelle und Ziel bearbeiten können Sie die Target-IAM-Rolle und die Target-Netzwerkverbindung ändern. Die anderen Felder können nach der Erstellung der Integration nicht bearbeitet werden. Klicken Sie auf Weiter.

  3. Sie können den Namen und die Beschreibung der Integration auch auf der Seite Integration und Konfiguration bearbeiten bearbeiten. Klicken Sie auf Weiter.

  4. Überprüfen Sie Ihre Änderungen und klicken Sie nach der Bestätigung auf Integration aktualisieren.

Löschen einer Integration

Das Löschen ist ein endgültiger Status für eine Integration. Nach dem Löschen kann die Integration nicht reaktiviert werden. Durch das Löschen einer Integration werden alle internen Metadaten und alle zwischengespeicherten Daten gelöscht.

Während dieses Vorgangs werden alle laufenden Aufgaben, die Daten in eine Zieltabelle schreiben, beendet. AWS Glue löscht oder bereinigt die AWS Glue Zieldatenbank (im Datenkatalog) und die zugehörigen Daten im Amazon S3 S3-Bucket in Ihrem Konto nicht. Sie müssen diese bei Bedarf explizit bereinigen.

So löschen Sie eine Integration:

  1. Klicken Sie auf der Seite mit den Integrationsdetails auf Löschen.

  2. Geben Sie „Löschen“ ein und klicken Sie auf Löschen. Hinweis: Diese Aktion kann nicht rückgängig gemacht werden.

  3. Auf der Seite mit den Integrationsdetails wird der Status „Löschen“ angezeigt. Sobald die Integration tatsächlich gelöscht wurde, wird sie nicht mehr auf der Homepage der Zero ETL-Integration angezeigt.

Integrationsstatus

Die Integration durchläuft von der Erstellung bis zur Löschung verschiedene Phasen:

  • CREATING- Dies ist der erste Zustand, in dem die Erstellung der Integration eingeleitet wird. In diesem Zustand werden die AWS Glue Initialisierungen durchgeführt. Dieser Status sollte schnell in den Status CREATED übergehen, sofern nicht einige Konfigurationen fehlen.

  • ACTIVE- Sobald die Integration diesen Status erreicht hat, AWS Glue wird die Datenübertragung gestartet (anfängliche Volllast). Sofern keine Genehmigungsprobleme vorliegen, erfolgt nach Abschluss des ersten Vollladevorgangs eine regelmäßige Erfassung der Änderungsdaten.

  • MODIFYING- Sobald Sie Änderungen an der Integration vorgenommen haben, wechselt die Integration in den Status Ändern. Sobald die Änderung übernommen wurde, wechselt die Integration in den Status, ACTIVE ob die Integration nach der Änderung erfolgreich war oder ob Probleme aufgetreten sind NEEDS_ATTENTION oder FAILED ob Probleme aufgetreten sind.

  • NEEDS_ATTENTION- Die Integration wechselt in diesen Status, wenn entweder ein Benutzer- oder ein Systemfehler vorliegt. Zu den Benutzerfehlern gehören fehlende Berechtigungen, fehlende Quell- oder Zielressource (n) und Datenfehler, die nicht unterstützt werden. Zu den Systemfehlern gehören interne Systemfehler. Bei beiden Fehlertypen versucht AWS Glue Zero ETL 7 Tage lang erneut, die Daten zu synchronisieren, bevor die Integration als FEHLGESCHLAGEN markiert wird. Wenn Sie das Problem zuvor beheben, wird die Integration wieder AKTIV und beginnt mit der Datenübertragung.

  • SYNCING- Die Integration wechselt in diesen Status, wenn AWS Glue Zero ETL Datentypänderungen im Hinblick auf das eingehende Schema für Spalten in Tabelle/Tabellen feststellt. In solchen Fällen fordert AWS Glue Zero ETL einen neuen Satz von Snapshots für all diese Tabellen an. Während dieser Zeit befindet sich die Integration im Status SYNCING und wird schließlich in den Status ACTIVE übergehen, sobald neu angeforderte Snapshots für die Aufnahme verfügbar sind.

  • FAILED- Dieser Zustand kann nicht wiederhergestellt werden. Sobald die Integration diesen Status erreicht hat, kann sie nicht wiederhergestellt werden. Die einzige Möglichkeit, die Datenübertragung von der Quelle zum Ziel erneut zu starten, besteht darin, die Integration zu löschen und neu zu erstellen. Wenn AWS Glue Zero ETL feststellt, dass ein Benutzer- oder Systemfehler über einen Zeitraum von 7 Tagen nicht behoben wurde und alle Wiederholungsversuche erschöpft sind, markiert AWS Glue Zero ETL die Integration als FEHLGESCHLAGEN.

  • DELETING- Wenn Sie die Delete-Integration-API aufrufen, wird die Integration AWS Glue zunächst in den Status DELETING versetzt. Nachdem alle Metadaten gelöscht und die internen Verarbeitungen beendet wurden, AWS Glue wird die Integration in den Status DELETED versetzt.

  • DELETED- Dies ist der Endstatus für die Integration. Die Integration kann nicht von diesem Zustand in einen anderen Zustand verschoben werden. Wenn die Datenübertragung von derselben Quelle zum Ziel erforderlich ist, sollten Sie die Integration erneut erstellen.