Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Verwenden des Hudi-Frameworks in AWS Glue Studio
Wenn Sie einen Auftrag erstellen oder bearbeiten, werden von AWS Glue Studio automatisch die entsprechenden Hudi-Bibliotheken für Sie hinzugefügt, je nachdem, welche Version von AWS Glue Sie verwenden. Weitere Informationen finden Sie unter Verwendung des Hudi-Frameworks in AWS Glue.
Verwendung des Apache-Hudi-Frameworks in Datenquellen des Datenkatalogs
So fügen Sie einem Auftrag ein Hudi-Datenquellenformat hinzu:
-
Wählen Sie im Menü Quelle die Option AWS Glue Studio-Datenkatalog aus.
-
Wählen Sie auf in Registerkarte Datenquelleneigenschaften eine Datenbank und eine Tabelle aus.
-
AWS Glue Studio zeigt den Formattyp als Apache Hudi und die Amazon-S3-URL an.
Verwenden des Hudi-Frameworks in Amazon-S3-Datenquellen
-
Wählen Sie im Quellenmenü die Option Amazon S3.
-
Wenn Sie die Datenkatalog-Tabelle als Amazon-S3-Quelltyp wählen, wählen Sie eine Datenbank und eine Tabelle aus.
-
AWS Glue Studio zeigt den Formattyp als Apache-Hudi und die Amazon-S3-URL an.
-
Wenn Sie den Amazon-S3-Standort als Amazon-S3-Quelltyp wählen, wählen Sie die Amazon-S3-URL aus, indem Sie auf Amazon S3 durchsuchen klicken.
-
Wählen Sie unter Datenformat die Option Apache-Hudi aus.
Anmerkung
Wenn AWS Glue Studio das Schema nicht aus dem ausgewählten Amazon-S3-Ordner oder der ausgewählten Datei ableiten kann, wählen Sie Zusätzliche Optionen, um einen neuen Ordner oder eine neue Datei auszuwählen.
Wählen Sie unter Zusätzliche Optionen unter Schema-Inferenz aus den folgenden Optionen:
-
Lassen Sie AWS Glue Studio automatisch eine Beispieldatei auswählen – AWS Glue Studio wird eine Beispieldatei am Amazon-S3-Speicherort auswählen, damit das Schema abgeleitet werden kann. Im Auto-sampled Dateifeld können Sie die Datei anzeigen, die automatisch ausgewählt wurde.
-
Wählen Sie eine Beispieldatei aus Amazon S3 – wählen Sie die Amazon-S3-Datei aus, die Sie verwenden möchten, indem Sie auf Amazon S3 durchsuchen klicken.
-
-
Klicken Sie auf Schema ableiten. Sie können dann das Ausgabeschema anzeigen, indem Sie auf die Registerkarte Ausgabeschema klicken.
-
Wählen Sie Zusätzliche Optionen, um ein Schlüssel-Wert-Paar einzugeben.
Verwendung des Apache-Hudi-Frameworks in Datenzielen
Verwendung des Apache Hudi-Frameworks in Datenkatalog-Datenzielen
-
Wählen Sie im Menü Ziel die Option AWS Glue Studio-Datenkatalog aus.
-
Wählen Sie auf der Registerkarte Datenquelleneigenschaften eine Datenbank und eine Tabelle aus.
-
AWS Glue Studio zeigt den Formattyp als Apache Hudi und die Amazon-S3-URL an.
Verwendung des Apache-Hudi-Frameworks in Amazon-S3-Datenzielen
Geben Sie Werte ein oder wählen Sie aus den verfügbaren Optionen, um das Apache-Hudi-Format zu konfigurieren. Weitere Informationen zu Apache Hudi finden Sie in der Apache-Hudi-Dokumentation
-
Hudi-Tabellenname – das ist der Name Ihrer Hudi-Tabelle.
-
Hudi Speichertyp – wählen Sie aus zwei Optionen:
-
Kopieren beim Schreiben – empfohlen für die Optimierung der Leseleistung. Das ist der Standardspeichertyp für Hudi. Jede Aktualisierung erstellt während eines Schreibvorgangs eine neue Version der Dateien.
-
Beim Lesen zusammenführen – empfohlen, um die Schreiblatenz zu minimieren. Updates werden in zeilenbasierten Delta-Dateien protokolliert und nach Bedarf komprimiert, um neue Versionen der Spaltendateien zu erstellen.
-
-
Hudi-Schreibvorgang – wählen aus den folgenden Optionen:
-
Upsert – Dies ist die Standardoperation, bei der die Eingabedatensätze zuerst als Einfügungen oder Aktualisierungen gekennzeichnet werden, indem im Index nachgeschlagen wird. Wird empfohlen, wenn Sie bestehende Daten aktualisieren.
-
Einfügen – Dadurch werden Datensätze eingefügt, aber nicht nach vorhandenen Datensätzen gesucht, was zu Duplikaten führen kann.
-
Massen-Einfügen – Dies fügt Datensätze ein und wird für große Datenmengen empfohlen.
-
-
Hudi-Datensatz-Schlüsselfelder – verwenden Sie die Suchleiste, um nach primären Datensatzschlüsseln zu suchen und diese auszuwählen. Datensätze in Hudi werden durch einen Primärschlüssel identifiziert, der ein Paar aus Datensatzschlüssel und Partitionspfad ist, zu dem der Datensatz gehört.
-
Hudi-Vorab-Kombinationsfeld – dies ist das Feld, das in Vorabkombination vor dem eigentlichen Schreiben verwendet wird. Wenn zwei Datensätze denselben Schlüsselwert haben, wählt AWS Glue Studio den Datensatz mit dem größten Wert für das Vorab-Kombinationsfeld aus. Stellen Sie ein Feld ein, zu dem der inkrementelle Wert gehört (z. B. updated_at).
-
Komprimierungstyp – Wählen Sie eine der Optionen für den Komprimierungstyp: Unkomprimiert, GZIP, LZO oder Snappy.
-
Amazon-S3-Zielstandort – Wählen Sie den Amazon-S3-Zielstandort aus, indem Sie auf S3 durchsuchen klicken.
-
Aktualisierungsoptionen aus dem Datenkatalog – wählen Sie aus den folgenden Optionen aus:
-
Do not update the Data Catalog (Data Catalog nicht aktualisieren): (Standard) Wählen Sie diese Option, wenn der Auftrag den Data Catalog nicht aktualisieren soll, selbst wenn sich das Schema ändert oder neue Partitionen hinzukommen.
-
Erstellen Sie eine Tabelle im Datenkatalog und aktualisieren Sie bei späteren Läufen das Schema und fügen Sie neue Partitionen hinzu: Wenn Sie diese Option wählen, erstellt der Auftrag die Tabelle im Datenkatalog bei der ersten Ausführung des Auftrags. Bei nachfolgenden Ausführungen aktualisiert der Auftrag die Data-Catalog-Tabelle, wenn sich das Schema ändert oder neue Partitionen hinzugefügt werden.
Sie müssen auch eine Datenbank aus dem Data Catalog auswählen und einen Tabellennamen eingeben.
-
Create a table in the Data Catalog and on subsequent runs, keep existing schema and add new partitions (Eine Tabelle im Data Catalog erstellen und bei folgenden Ausführungen das bestehende Schema beibehalten und neue Partitionen hinzufügen): Wenn Sie diese Option wählen, erstellt der Auftrag die Tabelle im Data Catalog bei der ersten Ausführung des Auftrags. Bei nachfolgenden Ausführungen fügt der Auftrag lediglich neue Partitionen in die Data-Catalog-Tabelle ein.
Sie müssen auch eine Datenbank aus dem Data Catalog auswählen und einen Tabellennamen eingeben.
-
-
Partition keys (Partitionsschlüssel): Wählen Sie aus, welche Spalten als Partitionierungsschlüssel in der Ausgabe verwendet werden sollen. Um weitere Partitionsschlüssel hinzuzufügen, wählen Sie Add a partition key (Partitionsschlüssel hinzufügen) aus.
-
Zusätzliche Optionen – Geben Sie nach Bedarf ein Schlüssel-Wert-Paar ein.
Code generieren durch AWS Glue Studio
Wenn der Auftrag gespeichert wird, werden die folgenden Auftragsparameter zum Auftrag hinzugefügt, wenn eine Hudi-Quelle oder ein Hudi-Ziel erkannt wird:
-
--datalake-formats– eine eindeutige Liste der Data Lake-Formate, die im visuellen Auftrag erkannt wurden (entweder direkt durch Auswahl eines „Formats“ oder indirekt durch Auswahl einer Katalogtabelle, die von einem Data Lake unterstützt wird). -
--conf– generiert auf der Grundlage des Werts von--datalake-formats. Wenn der Wert für--datalake-formatsbeispielsweise „hudi“ ist, wird AWS Glue für diesen Parameter ein Wert vonspark.serializer=org.apache.spark.serializer.KryoSerializer —conf spark.sql.hive.convertMetastoreParquet=falsegenerieren.
Überschreiben AWS Glue-bereitgestellte Bibliotheken
Um eine Version von Hudi zu verwenden, die AWS Glue nicht unterstützt, können Sie Ihre eigenen JAR-Dateien der Hudi-Bibliothek angeben. So verwenden Sie eine JAR-Datei:
-
Verwenden Sie den Auftragsparameter
--extra-jars. Beispiel,'--extra-jars': 's3pathtojarfile.jar'. Für mehr Informationen, siehe AWS Glue-Auftragsparameter. -
Schließen Sie
hudinicht als Wert für den Auftragsparameter--datalake-formatsein. Durch die Eingabe einer leeren Zeichenfolge als Wert wird sichergestellt, dass keine Data-Lake-Bibliotheken automatisch für Sie von AWS Glue bereitgestellt werden. Weitere Informationen finden Sie unter Verwendung des Hudi-Frameworks in AWS Glue.
