Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Einschränkungen
Berücksichtigen Sie die folgenden Einschränkungen, bevor Sie Data-Lake-Frameworks mit AWS Glue verwenden.
-
Die folgenden AWS Glue-
GlueContext-Methoden für DynamicFrame unterstützen nicht das Lesen und Schreiben von Data-Lake-Framework-Tabellen. Verwenden Sie stattdessen dieGlueContext-Methoden für DataFrame oder Spark DataFrame API.-
create_dynamic_frame.from_catalog -
write_dynamic_frame.from_catalog -
getDynamicFrame -
writeDynamicFrame
-
-
Die folgenden
GlueContext-Methoden für DataFrame werden mit Lake-Formation-Berechtigungskontrolle unterstützt:-
create_data_frame.from_catalog -
write_data_frame.from_catalog -
getDataFrame -
writeDataFrame
-
-
Das Gruppieren kleiner Dateien wird nicht unterstützt.
-
Auftragslesezeichen werden nicht unterstützt.
-
Apache Hudi 0.10.1 für AWS Glue 3.0 unterstützt keine Hudi Merge on Read (MoR)-Tabellen.
-
ALTER TABLE … RENAME TOist für Apache Iceberg 0.13.1 für AWS Glue 3.0 nicht verfügbar.
Einschränkungen für Tabellen im Data-Lake-Format, die mit Lake-Formation-Berechtigungen verwaltet werden
Die Data-Lake-Formate sind über Lake-Formation-Berechtigungen in AWS Glue ETL integriert. Das Erstellen eines DynamicFrame mit create_dynamic_frame wird nicht unterstützt. Weitere Informationen finden Sie in den folgenden Beispielen:
Anmerkung
Die Integration mit AWS Glue ETL über Lake-Formation-Berechtigungen für Apache Hudi, Apache Iceberg und Delta Lake wird nur in AWS Glue Version 4.0 unterstützt.
Apache Iceberg bietet die beste Integration mit AWS Glue ETL über Lake-Formation-Berechtigungen. Es unterstützt fast alle Operationen und beinhaltet SQL-Unterstützung.
Hudi unterstützt die meisten grundlegenden Operationen mit Ausnahme von Verwaltungsoperationen. Dies liegt daran, dass diese Optionen im Allgemeinen durch das Schreiben von DataFrames erfolgen und über additional_options spezifiziert werden. Sie müssen AWS Glue-APIs verwenden, um DataFrames für Ihre Operationen zu erstellen, da SparkSQL nicht unterstützt wird.
Delta Lake unterstützt nur das Lesen, Anhängen und Überschreiben von Tabellendaten. Delta Lake erfordert die Verwendung eigener Bibliotheken, um verschiedene Aufgaben wie Aktualisierungen ausführen zu können.
Die folgenden Funktionen sind für Iceberg-Tabellen, die mit Lake-Formation-Berechtigungen verwaltet werden, nicht verfügbar.
Verdichtung mit AWS Glue ETL
Spark-SQL-Unterstützung über AWS Glue ETL
Im Folgenden sind die Einschränkungen von Hudi-Tabellen aufgeführt, die mit Lake-Formation-Berechtigungen verwaltet werden:
Entfernen verwaister Dateien
Im Folgenden sind die Einschränkungen von Delta-Lake-Tabellen aufgeführt, die mit Lake-Formation-Berechtigungen verwaltet werden:
Alle Features außer dem Einfügen und Lesen von Delta-Lake-Tabellen.
