Migration AWS Glue für Spark-Jobs auf AWS Glue Version 5.1

Apache Spark-Update von 3.5.4 in AWS Glue 5.0 auf 3.5.6 in AWS Glue 5.1.

Open Table Formats (OTF) wurde auf Hudi 1.0.2, Iceberg 1.10.0 und Delta Lake 3.3.2 aktualisiert

Iceberg Materialized Views - Erstellen und verwalten Sie Iceberg Materialized Views (MV). Weitere Informationen finden Sie im Blogbeitrag

Iceberg-Format Version 3.0 — Erweitert Datentypen und bestehende Metadatenstrukturen um neue Funktionen. Weitere Informationen finden Sie in der Iceberg-Tabellenspezifikation.

Hudi Full Table Access — Steuerung des vollständigen Tabellenzugriffs (FTA) für Apache Hudi in Apache Spark auf der Grundlage Ihrer in definierten Richtlinien. Diese Funktion ermöglicht Lese- und Schreiboperationen aus Ihren AWS Glue ETL-Jobs in registrierten Tabellen, wenn die Jobrolle vollen Tabellenzugriff hat.

Die native FGAC-Unterstützung (Fine-Grained Access Control) von Spark verwendet DDL/DML -Operationen (wie CREATE, ALTER, DELETE, DROP) mit detaillierter Zugriffskontrolle für Apache Hive-, Apache Iceberg- und Delta Lake-Tabellen, die in registriert sind.

Audit-Kontext für Spark-Jobs — Der Audit-Kontext für AWS Glue ETL-Jobs mit aktivierten Jobs wird für API-Aufrufe im Protokoll verfügbar sein AWS Glue AWS Lake Formation

Eingeschränkte Unterstützung für View-SQL-Klausel für die Erstellung materialisierter Ansichten, das Umschreiben von Abfragen und die inkrementelle Aktualisierung. Weitere Einzelheiten finden Sie auf der Dokumentationsseite zur Funktion Iceberg Materialized Views

Hudi FTA-Schreibvorgänge müssen HoodieCredentialedHadoopStorage für den Verkauf von Anmeldeinformationen während der Auftragsausführung verwendet werden. Stellen Sie die folgende Konfiguration ein, wenn Sie Hudi-Jobs ausführen:

hoodie.storage.class=org.apache.spark.sql.hudi.storage.HoodieCredentialedHadoopStorage

Die Hudi FTA-Schreibunterstützung funktioniert nur mit den Hudi-Standardkonfigurationen. Benutzerdefinierte oder nicht standardmäßige Hudi-Einstellungen werden möglicherweise nicht vollständig unterstützt und können zu unerwartetem Verhalten führen. Clustering für Hudi-Tabellen Merge-On-Read (MOR) wird im FTA-Schreibmodus ebenfalls nicht unterstützt.

Das S3A-Dateisystem hat EMRFS als Standard-S3-Konnektor ersetzt. Informationen zur Migration finden Sie unter. Migration von 5.0 auf 5.1 AWS GlueAWS Glue

Wählen Sie in AWS Glue Studio Glue 5.1 - Supports Spark 3.5.6, Scala 2, Python 3 inGlue version.

Wählen Sie in der API 5.1 im GlueVersion-Parameter in der UpdateJob-API-Operation aus.

Wählen Sie in der Konsole Spark 3.5.6, Python 3 (Glue Version 5.1) or Spark 3.5.6, Scala 2 (Glue Version 5.1) in der Glue version aus.

Wählen Sie in AWS Glue Studio Glue 5.1 - Supports Spark 3.5.6, Scala 2, Python 3 inGlue version.

Wählen Sie in der API 5.1 im GlueVersion-Parameter in der CreateJob-API-Operation aus.

[Python] Aktualisieren Sie die Boto-Referenzen von 1.34 auf 1.40.

In AWS Glue 5.1 hat das S3A-Dateisystem EMRFS als Standard-S3-Konnektor ersetzt. Wenn beide spark.hadoop.fs.s3a.endpoint und nicht gesetzt spark.hadoop.fs.s3a.endpoint.region sind, ist die von S3A verwendete Standardregion. us-east-2 Dies kann zu Problemen wie Timeout-Fehlern beim S3-Upload führen, insbesondere bei VPC-Aufträgen. Um die durch diese Änderung verursachten Probleme zu beheben, legen Sie die spark.hadoop.fs.s3a.endpoint.region Spark-Konfiguration fest, wenn Sie das S3A-Dateisystem in 5.1 verwenden. AWS Glue

Um weiterhin EMRFS anstelle von S3A zu verwenden, legen Sie die folgenden Spark-Konfigurationen fest:

    --conf spark.hadoop.fs.s3.impl=com.amazon.ws.emr.hadoop.fs.EmrFileSystem
    --conf spark.hadoop.fs.s3n.impl=com.amazon.ws.emr.hadoop.fs.EmrFileSystem
    --conf spark.hadoop.fs.AbstractFileSystem.s3.impl=org.apache.hadoop.fs.s3.EMRFSDelegate
                

Migrationshandbuch: Spark Core

Migrationshandbuch: SQL, Datensätze und DataFrame

Migrationshandbuch: Strukturiertes Streaming

Wird upgegradet PySpark

Migrationsschritte im Zusammenhang mit AWS Glue 4.0 auf AWS Glue 5.0 finden Sie unter Migration von AWS Glue 4.0 auf AWS Glue 5.0.

Migrationsschritte im Zusammenhang mit AWS Glue 3.0 auf AWS Glue 5.0 finden Sie unter Migration von AWS Glue 3.0 auf AWS Glue 5.0.

Migrationsschritte im Zusammenhang mit AWS Glue 2.0 auf AWS Glue 5.0 und eine Liste der Migrationsunterschiede zwischen AWS Glue Version 2.0 und 4.0 finden Sie unter Migration von AWS Glue 2.0 auf AWS Glue 5.0.

Anhang B: Aktualisierungen von JDBC-Treibern

Anhang C: Konnektor-Upgrades

Anhang D: Verbesserungen des Open-Table-Formats

Support den FTA-Lese- und Schreibzugriff auf bei Lake Formation registrierte Tabellen.

Support Version 3 des Iceberg-Formats. Die folgenden Funktionen werden unterstützt:

Support Spark-native FGAC-Schreibvorgänge in registrierten Tabellen.

Athena SQL-Kompatibilität — Iceberg V3-Tabellen, die von EMR Spark erstellt wurden, können aufgrund eines Fehlers nicht gelesen werden: GENERIC_INTERNAL_ERROR: Cannot read unsupported version 3

Support den FTA-Lese- und Schreibzugriff auf bei Lake Formation registrierte Tabellen.