Migrating AWS Glue für Spark-Jobs zu AWS Glue Version 6.0

Apache Spark-Upgrade von 3.5.6 in AWS Glue 5.1 auf 4.1.1 in AWS Glue 6.0.

Scala-Upgrade von 2.12.18 auf 2.13.17.

Python-Upgrade von 3.11 auf 3.13.

Open Table Formats (OTF) wurde auf Hudi 1.1.1, Iceberg 1.11.0 und Delta Lake 4.2.0 aktualisiert.

Iceberg Format Version 3 — Erweitert Datentypen und bestehende Metadatenstrukturen um neue Funktionen, darunter:

Spark Declarative Pipelines (SDP) — Ein neues deklaratives Framework zur Definition von durchgängigen Datenpipelines mithilfe von SQL oder DataFrame API mit Unterstützung für Streaming-Tabellen und materialisierte Ansichten. Weitere Informationen finden Sie unter Deklarative Spark-Pipelines.

Spark Connect für interaktive Sitzungen — Ermöglicht Thin-Client-Konnektivität zu AWS Glue interaktiven Sitzungen über das Spark Connect-Protokoll und unterstützt Remote-Entwicklungsworkflows.

Arrow-native Python UDFs/UDTFs — Verbesserte Leistung für benutzerdefinierte Python-Funktionen, die das Apache Arrow-Spaltenformat nativ verwenden.

Customer-managed oder eine vom Dienst generierte virtuelle Python-Umgebung (--python-virtual-env) — Sie können Ihr eigenes Python-Venv erstellen und bereitstellen, das zur Laufzeit AWS Glue an Spark-Treiber und -Executoren angehängt wird und so die volle Kontrolle über das Abhängigkeitsmanagement bietet. Wenn bestehende Jobs auf AWS Glue 6.0 migriert werden, AWS Glue wird diese virtuelle Umgebung bei Bedarf automatisch generiert.

Streaming-Verbesserungen — Real-time Modus für statusfreies Streaming mit Latenz im Millisekundenbereich. Weitere Informationen finden Sie unter Aktivierung des Echtzeitmodus für Streaming-Jobs.

Konnektor-Upgrades — Amazon Redshift, MongoDB, Snowflake und andere Konnektoren wurden aktualisiert. Vollständige Versionsdetails finden Sie unterAnhang C: Konnektor-Upgrades.

Der ANSI-Modus ist in Spark 4.1 standardmäßig aktiviert. Operationen, die zuvor bei einem Überlauf NULL zurückgegeben haben (z. B. Integer-Arithmetik, Cast-Operationen), lösen jetzt Ausnahmen aus. Legt fest, spark.sql.ansi.enabled=false dass vorheriges Verhalten wiederhergestellt wird.

Spark Declarative Pipelines (SDP) ist eine neue Funktion mit eingeschränkter Unterstützung für bestimmte SQL-Konstrukte. Aktuelle Einschränkungen finden Sie in der Deklarative Spark-Pipelines Dokumentation.

In AWS Glue 6.0 erstellte Iceberg v3-Tabellen können von Athena SQL nicht gelesen werden (Fehler:Cannot read unsupported version 3). Verwenden Sie Iceberg v2 für die Engine-übergreifende Kompatibilität mit Athena.

Python 3.13 entfernt mehrere veraltete Module und ändert das Verhalten einiger Standardbibliotheksfunktionen. Überprüfen Sie die Kompatibilität im Python 3.13-Migrationsleitfaden.

AWS Die Kompatibilität des SDK für Java 2.x mit --user-jars-first — AWS Glue 6.0 beinhaltet AWS das SDK für Java 2.x, Version 2.44.6. Wenn Sie den --user-jars-first Job-Parameter mit einer benutzerdefinierten JAR verwenden, die eine ältere Version des AWS SDK für Java 2.x bündelt, schlägt Ihr Job möglicherweise mit einem oder einem ähnlichen Fehler fehl. java.lang.NoSuchFieldError Diese Fehler treten auf, wenn im SDK, das in Ihrer benutzerdefinierten JAR enthalten ist, Klassen, Felder oder Methoden fehlen, von denen die AWS Glue Laufzeit abhängt. Um dieses Problem zu vermeiden, stellen Sie sicher, dass jedes benutzerdefinierte JAR, das Sie bereitstellen, AWS SDK für Java 2.x, Version 2.44.6 oder höher, --user-jars-first verwendet.

EMRFS wurde entfernt. S3A ist das einzige S3-Dateisystem in AWS Glue 6.0. Die com.amazon.ws.emr.hadoop.fs.EmrFileSystem Klasse ist nicht mehr verfügbar. Jobs, die s3:// Pfade verwenden, verwenden S3A automatisch. Wenn Sie zuvor EMRFS-specific Konfigurationen festgelegt haben (z. B.fs.s3.consistent.*), entfernen Sie sie.

AWS Das SDK für Java v1 wurde entfernt. Nur AWS SDK v2 (2.44.6) ist verfügbar. Jobs, zu denen com.amazonaws.services.* Pakete importiert werden, müssen software.amazon.awssdk.services.* migriert werden.

Scala wurde von 2.12 auf 2.13 aktualisiert. Benutzerdefinierte JARs, die gegen Scala 2.12 kompiliert wurden, funktionieren nicht. Kompilieren Sie erneut gegen Scala 2.13.17. Wichtigste Änderungen: JavaConversions entfernt (verwendetCollectionConverters), MutableList entfernt (verwendetListBuffer), parallele Sammlungen erfordern einen separaten Import.

Änderungen an der Spark 4.1-API:

CreateSession API-Validierung — Zusätzliche Überprüfung der Sitzungsparameter für interaktive Sitzungen. Ungültige Konfigurationen, die zuvor stillschweigend akzeptiert wurden, geben jetzt möglicherweise Fehler zurück.

getResolvedOptionsVerhaltensänderung — Die Zuordnung von Argumentpräfixen ist standardmäßig deaktiviert (allow_abbrev=False). Verwenden Sie den vollständigen Argumentnamen oder übergeben allow_abbrev=True Sie ihngetResolvedOptions(), um das alte Verhalten wiederherzustellen.

Wählen Sie in AWS Glue Studio Glue 6.0 - Supports Spark 4.1.1, Scala 2, Python 3 inGlue version.

Wählen Sie in der API 6.0 im GlueVersion-Parameter in der UpdateJob-API-Operation aus.

Wählen Sie in der Konsole Spark 4.1.1, Python 3 (Glue Version 6.0) or Spark 4.1.1, Scala 2 (Glue Version 6.0) in der Glue version aus.

Wählen Sie in AWS Glue Studio die Option Glue 6.0 - Supports Spark 4.1.1, Scala 2, Python 3 InGlue version.

Wählen Sie in der API 6.0 im GlueVersion-Parameter in der CreateJob-API-Operation aus.

[Scala] Kompilieren Sie benutzerdefinierte JARs erneut gegen Scala 2.13.17. Ersetzen Sie JavaConversions durch CollectionConverters.

[Python] Aktualisiere den Code für die Python 3.13-Kompatibilität. Entfernen Sie die Verwendung veralteter Module (z. B.,imp,cgi). cgitb

[Python] Aktualisiere die Boto3-Referenzen von 1.40 auf 1.42.

[Spark SQL] Überprüfen Sie die Abfragen auf Auswirkungen auf den ANSI-Modus. Fügen Sie spark.sql.ansi.enabled=false bei Bedarf hinzu.

[SDK] Ersetzen Sie alle AWS SDK v1-Importe (com.amazonaws.*) durch SDK v2 (software.amazon.awssdk.*).

[S3] EMRFS-specific Konfigurationen entfernen. S3A ist jetzt der Standard- und einzige S3-Connector.

[Abhängigkeiten] Update --extra-jars auf Versionen, die für Scala 2.13 und Spark 4.1 kompiliert wurden.

S3-Dateisystem: EMRFS ist nicht mehr verfügbar. S3A ist der einzige S3-Anschluss. Wenn Sie es zuvor eingestellt habenspark.hadoop.fs.s3a.endpoint.region, verwenden Sie es weiterhin. Falls nicht gesetzt, stellen Sie sicher, dass Ihr VPC-Endpunkt oder Ihre Netzwerkkonfiguration es S3A ermöglicht, die richtige Region aufzulösen.

Scala-Binärkompatibilität: AWS Glue 6.0 verwendet Scala 2.13. Alles, was mit Scala 2.12 --extra-jars kompiliert wurde, schlägt mit oder fehl. NoSuchMethodError ClassNotFoundException Kompilieren Sie alle benutzerdefinierten JARs neu. Scala/Java

Verhaltensänderungen bei Spark SQL:

Python-Version: Python 3.13 ist die Laufzeit. Die --additional-python-modules Funktion funktioniert weiterhin, ist aber veraltet. Erwägen Sie eine Migration zu, um die vollständige --python-virtual-env Abhängigkeitskontrolle zu erhalten.

AWS SDK: Nur SDK v2 ist verfügbar. Wenn Ihre Skripte boto3 (Python) verwenden, ist keine Änderung erforderlich — boto3 funktioniert weiterhin. Migrieren Sie für Scala/Java Jobs, die das AWS SDK direkt verwenden, zu v2-APIs.

Migrationshandbuch: Spark Core auf der Apache Spark-Website

Migrationshandbuch: SQL, Datensätze und DataFrame auf der Apache Spark-Website

Migrationshandbuch: Strukturiertes Streaming auf der Apache Spark-Website

Aktualisierung PySpark auf der Apache Spark-Website

Die Schritte zur Migration von AWS Glue 5.0 auf AWS Glue 5.1 finden Sie unterMigration von AWS Glue 5,0 bis AWS Glue 5.1.

Die Schritte zur Migration von AWS Glue 4.0 auf AWS Glue 5.0 finden Sie unterMigration von AWS Glue 4.0 bis AWS Glue 5.0.

Die Schritte zur Migration von AWS Glue 3.0 auf AWS Glue 5.0 finden Sie unterMigration von AWS Glue 3.0 bis AWS Glue 5.0.

Die Schritte zur Migration von AWS Glue 2.0 auf AWS Glue 5.0 finden Sie unterMigration von AWS Glue 2,0 bis AWS Glue 5.0.

Nachdem Sie die obigen Schritte ausgeführt haben, beenden Sie die Migration auf AWS Glue 6.0 wie folgtMigration von AWS Glue 5.1 bis AWS Glue 6.0.

Anhang B: Aktualisierungen von JDBC-Treibern

Anhang C: Konnektor-Upgrades

Anhang D: Verbesserungen des Open-Table-Formats

Iceberg wurde auf 1.11.0 mit voller Unterstützung für die Spezifikationen von Apache Iceberg Version 3 aktualisiert.

VARIANT-Datentyp mit Varianten-Shredding für optimierte halbstrukturierte Datenabfragen.

Nanosecond-precision Zeitstempel.

Geodatentypen (Geometrie und Geografie).

Hudi hat auf 1.1.1 aktualisiert.

Fortgesetzte Unterstützung für FTA-Lese- und Schreibzugriff auf AWS Lake Formation registrierte Tabellen.

Delta Lake wurde auf 4.2.0 aktualisiert.

Fortgesetzte Unterstützung für FTA-Lese- und Schreibzugriff auf AWS Lake Formation registrierte Tabellen.

Die Verschlüsselungsschlüssel für native Iceberg-Tabellen werden nicht unterstützt.

Iceberg-Transformationen mit mehreren Argumenten werden nicht unterstützt.

Die neuen Iceberg v3-Datentypen werden nur von Spark unterstützt. DataFrames Diese Funktionen funktionieren nicht mit DynamicFrames.

Visual ETL in AWS Glue Studio unterstützt die neuen Iceberg v3-Datentypen nicht. Wenn Sie diese neuen Funktionen mit Visual ETL verwenden möchten, empfehlen wir, Ihre ETL-Jobs zu Amazon SageMaker Unified Studio zu migrieren.

Fine-grained Die Zugriffskontrolle (FGAC) wird mit VARIANT-Spalten nicht unterstützt.

Mit erstellte Iceberg-Tabellen 'format-version'='3' können von Athena SQL nicht gelesen werden (Fehler:). Cannot read unsupported version 3 Verwenden Sie Iceberg v2 für die Engine-übergreifende Kompatibilität mit Athena.