View a markdown version of this page

Unterstützte Verbindungen für Datenquellen und Ausgaben - AWS Glue DataBrew Entwicklerhandbuch

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Unterstützte Verbindungen für Datenquellen und Ausgaben

Sie können eine Verbindung zu den folgenden Datenquellen für DataBrew Rezepturjobs herstellen. Dazu gehören alle Datenquellen, bei denen es sich nicht um DataBrew eine Datei handelt, in die Sie direkt hochladen. Die Datenquelle, die Sie verwenden, kann als Datenbank, Data Warehouse oder etwas anderes bezeichnet werden. Wir bezeichnen alle Datenanbieter als Datenquellen oder Verbindungen.

Sie können einen Datensatz mit einer der folgenden Datenquellen erstellen.

Sie können auch Amazon S3- oder JDBC-Datenbanken verwenden AWS Glue Data Catalog, die von Amazon RDS für die Ausgabe von DataBrew Rezeptjobs unterstützt werden. Amazon AppFlow und AWS Data Exchange werden nicht als Datenspeicher für die Ausgabe von DataBrew Rezeptjobs unterstützt.

  • Amazon S3

    Sie können S3 verwenden, um beliebige Datenmengen zu speichern und zu schützen. Um einen Datensatz zu erstellen, geben Sie eine S3-URL an, über die Sie auf eine Datendatei zugreifen DataBrew können, zum Beispiel: s3://your-bucket-name/inventory-data.csv

    DataBrew kann auch alle Dateien in einem S3-Ordner lesen, was bedeutet, dass Sie einen Datensatz erstellen können, der sich über mehrere Dateien erstreckt. Geben Sie dazu eine S3-URL in dieser Form an:s3://your-bucket-name/your-folder-name/.

    DataBrew unterstützt nur die folgenden Amazon S3 S3-Speicherklassen: Standard, Reduced Redundancy und S3 One Zone-IA. Standard-IA DataBrew ignoriert Dateien mit anderen Speicherklassen. DataBrew ignoriert auch leere Dateien (Dateien, die 0 Byte enthalten). Weitere Informationen zu Amazon S3 S3-Speicherklassen finden Sie unter Verwenden von Amazon S3 S3-Speicherklassen im Amazon S3 S3-Konsolen-Benutzerhandbuch.

  • AWS Glue Data Catalog

    Sie können den Datenkatalog verwenden, um Verweise auf Daten zu definieren, die in der AWS Cloud gespeichert sind. Mit dem Datenkatalog können Sie Verbindungen zu einzelnen Tabellen in den folgenden Diensten aufbauen:

    • Datenkatalog Amazon S3

    • Datenkatalog Amazon Redshift

    • Datenkatalog Amazon RDS

    • AWS Glue

    DataBrew kann auch alle Dateien in einem Amazon S3 S3-Ordner lesen, was bedeutet, dass Sie einen Datensatz erstellen können, der sich über mehrere Dateien erstreckt. Geben Sie dazu eine Amazon S3 S3-URL in dieser Form an: s3://your-bucket-name/your-folder-name/

    Um mit verwendet werden zu können DataBrew, Amazon S3 S3-Tabellen AWS Glue Data Catalog, die in definiert sind, eine Tabelleneigenschaft namens a hinzugefügt werdenclassification, die das Format der Daten als csvjson,parquet, oder und typeOfData als identifiziertfile. Wenn die Tabelleneigenschaft bei der Erstellung der Tabelle nicht hinzugefügt wurde, können Sie sie über die AWS Glue Konsole hinzufügen.

    DataBrew unterstützt nur die Amazon S3 S3-Speicherklassen Standard, Reduced Redundancy und S3 One Zone-IA. Standard-IA DataBrew ignoriert Dateien mit anderen Speicherklassen. DataBrew ignoriert auch leere Dateien (Dateien, die 0 Byte enthalten). Weitere Informationen zu Amazon S3 S3-Speicherklassen finden Sie unter Verwenden von Amazon S3 S3-Speicherklassen im Amazon S3 S3-Konsolen-Benutzerhandbuch.

    DataBrew kann auch von anderen Konten aus auf AWS Glue Data Catalog S3-Tabellen zugreifen, wenn eine entsprechende Ressourcenrichtlinie erstellt wurde. Sie können eine Richtlinie in der AWS Glue Konsole auf der Registerkarte Einstellungen unter Datenkatalog erstellen. Im Folgenden finden Sie ein Beispiel für eine Richtlinie speziell für eine einzelne AWS-Region.

    Warnung

    Dies ist eine äußerst freizügige Ressourcenrichtlinie, die *$ACCOUNT_TO* uneingeschränkten Zugriff auf den Datenkatalog von gewährt. *$ACCOUNT_FROM* In den meisten Fällen empfehlen wir, dass Sie Ihre Ressourcenrichtlinie auf bestimmte Kataloge oder Tabellen beschränken. Weitere Informationen finden Sie unter AWS Glue Ressourcenrichtlinien für die Zugriffskontrolle im AWS Glue Entwicklerhandbuch.

    In einigen Fällen möchten Sie vielleicht ein Projekt erstellen oder einen Job AWS Glue DataBrew in *$ACCOUNT_TO* einer AWS Glue Data Catalog S3-Tabelle ausführen*$ACCOUNT_FROM*, die auf einen S3-Speicherort verweist, der sich ebenfalls in befindet*$ACCOUNT_FROM*. In solchen Fällen muss die IAM-Rolle, die beim Erstellen des Projekts und des Jobs verwendet wurde, über die *$ACCOUNT_TO* Berechtigung verfügen, Objekte an diesem S3-Standort aufzulisten und von *$ACCOUNT_FROM* ihnen abzurufen. Weitere Informationen finden Sie unter Kontenübergreifendem Zugriff gewähren im AWS Glue Entwicklerhandbuch.

  • Mithilfe von JDBC-Treibern verbundene Daten

    Sie können einen Datensatz erstellen, indem Sie eine Verbindung zu Daten mit einem unterstützten JDBC-Treiber herstellen. Weitere Informationen finden Sie unter Verwenden von Treibern mit AWS Glue DataBrew.

    DataBrew unterstützt offiziell die folgenden Datenquellen mithilfe von Java Database Connectivity (JDBC):

    • Microsoft SQL Server

    • MySQL

    • Oracle

    • PostgreSQL

    • Amazon Redshift

    • Snowflake-Konnektor für Spark

    Die Datenquellen können sich überall befinden, von wo aus Sie eine Verbindung zu ihnen herstellen können. DataBrew Diese Liste enthält nur JDBC-Verbindungen, die wir getestet haben und die wir daher unterstützen können.

    Amazon Redshift- und Snowflake Connector for Spark-Datenquellen können auf eine der folgenden Arten verbunden werden:

    • Mit einem Tabellennamen.

    • Mit einer SQL-Abfrage, die mehrere Tabellen und Operationen umfasst.

    SQL-Abfragen werden ausgeführt, wenn Sie ein Projekt oder eine Jobausführung starten.

    Um eine Verbindung zu Daten herzustellen, für die ein nicht aufgeführter JDBC-Treiber erforderlich ist, stellen Sie sicher, dass der Treiber mit JDK 8 kompatibel ist. Um den Treiber zu verwenden, speichern Sie ihn in S3 in einem Bucket, auf den Sie mit Ihrer IAM-Rolle für zugreifen können. DataBrew Verweisen Sie dann mit Ihrem Datensatz auf die Treiberdatei. Weitere Informationen finden Sie unter Verwenden von Treibern mit AWS Glue DataBrew.

    Beispielabfrage für einen SQL-based Datensatz:

    SELECT
    * 
FROM
    public.customer as c 
JOIN
    public.customer_address as ca on c.current_address=ca.current_address
WHERE
    ca.address_id>0 AND ca.address_id<10001 ORDER BY ca.address_id

    Einschränkungen von Custom SQL

    Wenn Sie eine JDBC-Verbindung verwenden, um auf Daten für einen DataBrew Datensatz zuzugreifen, sollten Sie Folgendes beachten:

    • AWS Glue DataBrew validiert nicht das benutzerdefinierte SQL, das Sie im Rahmen der Datensatzerstellung angeben. Die SQL-Abfrage wird ausgeführt, wenn Sie einen Projekt- oder Joblauf starten. DataBrew nimmt die von Ihnen bereitgestellte Abfrage und übergibt sie mithilfe der standardmäßigen oder der mitgelieferten JDBC-Treiber an die Datenbank-Engine.

    • Ein mit einer ungültigen Abfrage erstellter Datensatz schlägt fehl, wenn er in einem Projekt oder Job verwendet wird. Überprüfen Sie Ihre Abfrage, bevor Sie den Datensatz erstellen.

    • Die Funktion „SQL validieren“ ist nur für Redshift-based Amazon-Datenquellen verfügbar.

    • Wenn Sie einen Datensatz in einem Projekt verwenden möchten, beschränken Sie die Laufzeit der SQL-Abfrage auf unter drei Minuten, um ein Timeout beim Laden des Projekts zu vermeiden. Überprüfen Sie die Laufzeit der Abfrage, bevor Sie ein Projekt erstellen.

  • Amazon AppFlow

    Mit Amazon AppFlow können Sie Daten von Drittanbieteranwendungen Software-as-a-Service (SaaS) wie Salesforce, Zendesk, Slack und in Amazon S3 übertragen. ServiceNow Anschließend können Sie die Daten verwenden, um einen DataBrew Datensatz zu erstellen.

    In Amazon AppFlow erstellen Sie eine Verbindung und einen Datenfluss für die Übertragung von Daten zwischen Ihrer Drittanbieteranwendung und einer Zielanwendung. Wenn Sie Amazon AppFlow mit verwenden DataBrew, stellen Sie sicher, dass es sich bei der AppFlow Amazon-Zielanwendung um Amazon S3 handelt. Andere AppFlow Amazon-Zielanwendungen als Amazon S3 werden nicht in der DataBrew Konsole angezeigt. Weitere Informationen zum Übertragen von Daten aus Ihrer Drittanbieteranwendung und zum Erstellen von AppFlow Amazon-Verbindungen und -Flows finden Sie in der AppFlow Amazon-Dokumentation.

    Wenn Sie auf der Registerkarte Datensätze von die Option Neuen Datensatz Connect auswählen DataBrew und auf Amazon klicken AppFlow, werden alle Flows in Amazon angezeigt AppFlow , die mit Amazon S3 als Zielanwendung konfiguriert sind. Um die Daten eines Flows für Ihren Datensatz zu verwenden, wählen Sie diesen Flow aus.

    Wenn Sie AppFlow in der Konsole Flow erstellen, Flows verwalten und Details für Amazon anzeigen auswählen, wird die DataBrew AppFlow Amazon-Konsole geöffnet, sodass Sie diese Aufgaben ausführen können.

    Nachdem Sie einen Datensatz von Amazon erstellt haben AppFlow, können Sie den Flow ausführen und die Details der letzten Flow-Ausführung anzeigen, wenn Sie sich die Datensatzdetails oder Jobdetails ansehen. Wenn Sie den Flow in ausführen DataBrew, wird der Datensatz in S3 aktualisiert und kann in DataBrew verwendet werden.

    Die folgenden Situationen können auftreten, wenn Sie in der DataBrew Konsole einen AppFlow Amazon-Flow auswählen, um einen Datensatz zu erstellen:

    • Daten wurden nicht aggregiert — Wenn der Flow-Trigger „Auf Abruf ausführen“ oder „Nach Zeitplan mit vollständiger Datenübertragung ausführen“ lautet, stellen Sie sicher, dass Sie die Daten für den Flow aggregieren, bevor Sie ihn zum Erstellen eines DataBrew Datensatzes verwenden. Beim Aggregieren des Flows werden alle Datensätze im Flow in einer einzigen Datei zusammengefasst. Für Flows mit dem Triggertyp „Nach Zeitplan ausführen mit inkrementeller Datenübertragung“ oder „Bei Ereignis ausführen“ ist keine Aggregation erforderlich. Um Daten in Amazon zu aggregieren AppFlow, wählen Sie Flow-Konfiguration bearbeiten > Zieldetails > Zusätzliche Einstellungen > Datenübertragungspräferenz.

    • Flow wurde nicht ausgeführt — Wenn der Ausführungsstatus für einen Flow leer ist, bedeutet das einen der folgenden Gründe:

      • Wenn der Trigger für die Ausführung des Flows auf Anfrage ausführen lautet, wurde der Flow noch nicht ausgeführt.

      • Wenn der Trigger für die Ausführung des Flows „Bei Ereignis ausführen“ lautet, ist das auslösende Ereignis noch nicht eingetreten.

      • Wenn der Trigger für die Ausführung des Flows „Nach Zeitplan ausführen“ lautet, ist noch keine geplante Ausführung erfolgt.

      Bevor Sie einen Datensatz mit einem Schema erstellen, wählen Sie Flow ausführen für diesen Flow aus.

      Weitere Informationen finden Sie unter Amazon AppFlow Flows im AppFlow Amazon-Benutzerhandbuch.

  • AWS Data Exchange

    Sie können aus Hunderten von Datenquellen von Drittanbietern wählen, die in verfügbar sind AWS Data Exchange. Wenn Sie diese Datenquellen abonnieren, erhalten Sie die aktuellste Version der Daten.

    Um einen Datensatz zu erstellen, geben Sie den Namen eines AWS Data Exchange Datenprodukts an, das Sie abonniert haben und zu dessen Nutzung Sie berechtigt sind.