Migrating AWS Glue pour Spark Jobs AWS Glue la version 6.0

Mise à niveau d'Apache Spark de la version 3.5.6 dans la AWS Glue version 5.1 à la version 4.1.1 dans AWS Glue la version 6.0.

Mise à niveau de Scala de la version 2.12.18 à la version 2.13.17.

Mise à niveau de Python de la version 3.11 à la version 3.13.

Formats de table ouverts (OTF) mis à jour vers Hudi 1.1.1, Iceberg 1.11.0 et Delta Lake 4.2.0.

Format Iceberg version 3 — Étend les types de données et les structures de métadonnées existantes pour ajouter de nouvelles fonctionnalités, notamment :

Spark Declarative Pipelines (SDP)  : nouveau cadre déclaratif permettant de définir des pipelines de données de bout en bout à l'aide de SQL ou d' DataFrame API, avec prise en charge des tables de streaming et des vues matérialisées. Pour de plus amples informations, veuillez consulter Pipelines déclaratifs Spark.

Spark Connect pour les sessions interactives  : permet la connectivité des clients légers aux sessions AWS Glue interactives via le protocole Spark Connect, prenant en charge les flux de travail de développement à distance.

Arrow-native Python UDFs/UDTFs — Performances améliorées pour les fonctions Python définies par l'utilisateur à l'aide du format colonnaire Apache Arrow en mode natif.

Customer-managed ou environnement virtuel Python généré par un service (--python-virtual-env) : vous pouvez créer et fournir votre propre venv Python qui AWS Glue se connecte aux pilotes et exécuteurs Spark lors de l'exécution, offrant ainsi un contrôle total sur la gestion des dépendances. Lorsque les tâches existantes sont migrées vers la AWS Glue version 6.0, cet environnement virtuel est AWS Glue automatiquement généré si nécessaire.

Améliorations du streaming  : Real-time mode de diffusion sans état avec une latence de l'ordre de la milliseconde. Pour de plus amples informations, veuillez consulter Activation du mode temps réel pour les tâches de streaming.

Mises à niveau des connecteurs  : mise à jour d'Amazon Redshift, MongoDB, Snowflake et d'autres connecteurs. Consultez Annexe C : Mises à niveau des connecteurs les détails de la version complète.

Le mode ANSI est activé par défaut dans Spark 4.1. Les opérations qui renvoyaient auparavant la valeur NULL en cas de débordement (par exemple, arithmétique des entiers, opérations de conversion) génèrent désormais des exceptions. Paramétrez spark.sql.ansi.enabled=false pour rétablir le comportement précédent.

Spark Declarative Pipelines (SDP) est une nouvelle fonctionnalité dont la prise en charge de certaines constructions SQL est limitée. Reportez-vous à la Pipelines déclaratifs Spark documentation pour connaître les limites actuelles.

Les tables Iceberg v3 créées dans la AWS Glue version 6.0 ne peuvent pas être lues par Athena SQL (erreur :Cannot read unsupported version 3). Utilisez Iceberg v2 pour une compatibilité multimoteur avec Athena.

Python 3.13 supprime plusieurs modules obsolètes et modifie le comportement de certaines fonctions de bibliothèque standard. Consultez le guide de migration vers Python 3.13 pour en savoir plus sur la compatibilité.

AWS La compatibilité du SDK pour Java 2.x avec --user-jars-first — AWS Glue 6.0 inclut le AWS SDK pour Java 2.x version 2.44.6. Si vous utilisez le paramètre --user-jars-first job avec un JAR personnalisé qui regroupe une ancienne version du AWS SDK pour Java 2.x, votre job risque d'échouer avec une erreur similaire java.lang.NoSuchFieldError ou similaire. Ces échecs se produisent lorsque le SDK intégré à votre fichier JAR personnalisé ne contient pas de classes, de champs ou de méthodes dont dépend le AWS Glue runtime. Pour éviter ce problème, assurez-vous que tout fichier JAR personnalisé que vous fournissez --user-jars-first utilise le AWS SDK pour Java 2.x version 2.44.6 ou ultérieure.

L'EMRFS a été supprimé. S3A est le seul système de fichiers S3 de la version 6.0. AWS Glue Le com.amazon.ws.emr.hadoop.fs.EmrFileSystem cours n'est plus disponible. Les tâches utilisant s3:// des chemins utilisent automatiquement S3A. Si vous avez déjà défini EMRFS-specific des configurations (par exemple,fs.s3.consistent.*), supprimez-les.

AWS Le SDK pour Java v1 a été supprimé. Seul le AWS SDK v2 (2.44.6) est disponible. Les jobs qui importent com.amazonaws.services.* des packages doivent être migrés verssoftware.amazon.awssdk.services.*.

Scala est passé de la version 2.12 à la version 2.13. Les fichiers JAR personnalisés compilés avec Scala 2.12 ne fonctionnent pas. Recompilez avec Scala 2.13.17. Principales modifications : les collections JavaConversions supprimées (utilisationCollectionConverters), MutableList supprimées (utilisationListBuffer) et parallèles nécessitent une importation séparée.

Changements apportés à l'API Spark 4.1 :

CreateSession Validation de l'API  : validation supplémentaire des paramètres de session pour les sessions interactives. Les configurations non valides qui étaient auparavant acceptées en mode silencieux peuvent désormais renvoyer des erreurs.

getResolvedOptionschangement de comportement — La correspondance des préfixes d'arguments est désactivée par défaut (allow_abbrev=False). Utilisez le nom complet de l'argument ou allow_abbrev=True passez-le getResolvedOptions() à pour rétablir l'ancien comportement.

Dans AWS Glue Studio, choisissez Glue 6.0 - Supports Spark 4.1.1, Scala 2, Python 3 dansGlue version.

Dans l’API, choisissez 6.0 dans le paramètre GlueVersion de l’opération d’API UpdateJob.

Dans la console, choisissez Spark 4.1.1, Python 3 (Glue Version 6.0) or Spark 4.1.1, Scala 2 (Glue Version 6.0) dans Glue version.

Dans AWS Glue Studio, choisissez Glue 6.0 - Supports Spark 4.1.1, Scala 2, Python 3 dansGlue version.

Dans l’API, choisissez 6.0 dans le paramètre GlueVersion de l’opération d’API CreateJob.

[Scala] Recompilez les fichiers JAR personnalisés avec Scala 2.13.17. Remplacez JavaConversions par CollectionConverters.

[Python] Code de mise à jour pour la compatibilité avec Python 3.13. Supprimez l'utilisation de modules obsolètes (par exemple,, impcgi,cgitb).

[Python] Mettez à jour les références boto3 de 1.40 à 1.42.

[Spark SQL] Vérifiez l'impact des requêtes sur le mode ANSI. spark.sql.ansi.enabled=falseAjoutez-en si nécessaire.

[SDK] Remplacez toutes les importations du AWS SDK v1 (com.amazonaws.*) par le SDK v2 (). software.amazon.awssdk.*

[S3] Supprimez les EMRFS-specific configurations. S3A est désormais le connecteur S3 par défaut et le seul.

[Dépendances] Mise --extra-jars à jour des versions compilées pour Scala 2.13 et Spark 4.1.

Système de fichiers S3 : EMRFS n'est plus disponible. Le S3A est le seul connecteur S3. Si vous l'avez déjà configuréspark.hadoop.fs.s3a.endpoint.region, continuez à l'utiliser. S'il n'est pas défini, assurez-vous que la configuration de votre point de terminaison ou réseau VPC permet à S3A de résoudre la bonne région.

Compatibilité binaire Scala : la AWS Glue version 6.0 utilise Scala 2.13. Toute --extra-jars compilation avec Scala 2.12 échoue avec NoSuchMethodError ou. ClassNotFoundException Recompilez tous les fichiers Scala/Java JAR personnalisés.

Changements de comportement de Spark SQL :

Version Python : Python 3.13 est le moteur d'exécution. La --additional-python-modules fonctionnalité continue de fonctionner mais elle est obsolète. Envisagez de migrer vers --python-virtual-env pour un contrôle total des dépendances.

AWS SDK : seul le SDK v2 est disponible. Si vos scripts utilisent boto3 (Python), aucune modification n'est nécessaire : boto3 continue de fonctionner. Pour les Scala/Java tâches utilisant directement le AWS SDK, migrez vers les API v2.

Guide de migration : Spark Core sur le site web d'Apache Spark

Guide de migration : SQL, ensembles de données et DataFrame sur le site Web d'Apache Spark

Guide de migration : Streaming structuré sur le site web d'Apache Spark

Mise à niveau PySpark sur le site Web d'Apache Spark

Pour les étapes de migration relatives à la AWS Glue version 5.0 vers la version AWS Glue 5.1, consultezMigration à partir de AWS Glue De 5,0 à AWS Glue 5.1.

Pour les étapes de migration relatives à la AWS Glue version 4.0 vers la AWS Glue version 5.0, consultezMigration à partir de AWS Glue 4,0 à AWS Glue 5.0.

Pour les étapes de migration relatives à la AWS Glue version 3.0 vers la AWS Glue version 5.0, consultezMigration à partir de AWS Glue 3,0 à AWS Glue 5.0.

Pour les étapes de migration relatives à la AWS Glue version 2.0 vers la AWS Glue version 5.0, consultezMigration à partir de AWS Glue 2,0 à AWS Glue 5.0.

Après avoir effectué les étapes ci-dessus, terminez la migration vers la AWS Glue version 6.0 en suivantMigration à partir de AWS Glue 5.1 à AWS Glue 6.0.

Annexe B : Mises à niveau du pilote JDBC

Annexe C : Mises à niveau des connecteurs

Annexe D : Mises à niveau du format de table ouverte

Iceberg a été mis à niveau vers la version 1.11.0 avec prise en charge complète des spécifications d'Apache Iceberg version 3.

Type de données VARIANT avec destruction des variantes pour des requêtes de données semi-structurées optimisées.

Nanosecond-precision horodatages.

Types de données géospatiales (géométrie et géographie).

Hudi est passé à la version 1.1.1.

Maintien de la prise en charge de l'accès en lecture et en écriture FTA sur les tables AWS Lake Formation enregistrées.

Delta Lake est passé à la version 4.2.0.

Maintien de la prise en charge de l'accès en lecture et en écriture FTA sur les tables AWS Lake Formation enregistrées.

Les clés de chiffrement de table natives Iceberg ne sont pas prises en charge.

Les transformations multi-arguments Iceberg ne sont pas prises en charge.

Les nouveaux types de données Iceberg v3 ne sont pris en charge qu'avec Spark DataFrames. Ces fonctionnalités ne fonctionneront pas avec DynamicFrames.

Visual ETL dans AWS Glue Studio ne prend pas en charge les nouveaux types de données Iceberg v3. Si vous souhaitez utiliser ces nouvelles fonctionnalités avec Visual ETL, nous vous recommandons de migrer vos tâches ETL vers Amazon SageMaker Unified Studio.

Fine-grained le contrôle d'accès (FGAC) n'est pas pris en charge avec les colonnes VARIANT.

Les tables Iceberg créées avec 'format-version'='3' ne peuvent pas être lues par Athena SQL (erreur :Cannot read unsupported version 3). Utilisez Iceberg v2 pour une compatibilité multimoteur avec Athena.