AWS Glue versions

Spark 3.5.6

Python 3.11

Scala 2.12.18

Formats de table ouverts (OTF) mis à jour vers Hudi 1.0.2, Iceberg 1.10.0 et Delta Lake 3.3.2

Version 3.0 du format Iceberg

Accès complet à la table Hudi (FTA) avec lecture et écriture

DDL/DML Opérations de contrôle d'accès à grain fin (FGAC) natif de Spark sur les tables Hive, Iceberg et Delta Lake enregistrées dans Lake Formation

Contexte d'audit pour les appels d'API Glue et Lake Formation dans le CloudTrail journal

Support pour Iceberg Materialized Views

Spark 3.5.4

Python 3.11

Scala 2.12.18

Assistance avec Amazon SageMaker Unified Studio

Assistance Amazon SageMaker Lakehouse

Open Table Formats (OTF) mis à jour vers Hudi 0.15.0, Iceberg 1.7.1 et Delta Lake 3.3.0

Contrôle précis des accès natif Spark utilisant Lake Formation.

Prise en charge d’autorisations d’accès Amazon S3

Prise en charge de requirements.txt pour installer des bibliothèques Python supplémentaires

Support du lignage des données sur Amazon DataZone

Prise en charge des compartiments de tableaux Amazon S3

AWS Glue Prise en charge de l'affichage multidialecte du catalogue de données

Le contrôle d'accès au niveau de la table GlueContext basé sur Glue Dynamic Frame/ avec AWS Lake Formation des autorisations prises en charge dans Glue 4.0 ou antérieur n'est pas pris en charge dans Glue 5.0. Utilisez le nouveau contrôle précis des accès (FGAC) natif Spark de Glue 5.0.

Spark 3.3.0

Python 3.10

De nombreuses mises à niveau des fonctionnalités Spark de Spark 3.1 vers Spark 3.3 :

Migration de Log4j 2 à partir de Log4j 1.x

Plusieurs mises à jour de modules Python depuis AWS Glue version 3.0, comme une version de Boto mise à niveau.

Mise à niveau de plusieurs connecteurs, notamment le connecteur Amazon Redshift par défaut. Consultez Annexe C : Mises à niveau des connecteurs.

Mise à niveau de plusieurs pilotes JDBC. Consultez Annexe B : Mises à niveau du pilote JDBC.

Utilisation d'un nouveau connecteur Amazon Redshift et d'un nouveau pilote JDBC.

Prise en charge native des infrastructures de lac de données ouverts avec Apache Hudi, Delta Lake et Apache Iceberg.

Prise en charge native du plug-in Cloud Shuffle Storage basé sur Amazon S3 (un plug-in Apache Spark) permettant d'utiliser Amazon S3 pour la réorganisation et la capacité de stockage élastique.

AWS Glue l'apprentissage automatique et les transformations des informations personnelles identifiables (PII) ne sont pas encore disponibles dans la AWS Glue version 4.0.

Ray 2.4.0

Python 3.9

Prend en charge la distribution de données Ray-2.4.0 (ray[data]) avec Python 3.9. Pour plus d'informations sur cette version de Ray, consultez Ray-2.4.0 dans le référentiel Ray. GitHub

Prend en charge l'installation de bibliothèques Python supplémentaires dans l'environnement d'exécution Ray2.4. Pour de plus amples informations, veuillez consulter Modules Python supplémentaires pour les tâches Ray.

Intègre les journaux et les statistiques de Ray Jobs avec Amazon CloudWatch. Pour plus d’informations, consultez Dépannage des erreurs AWS Glue pour Ray liées aux journaux et Surveiller les tâches Ray à l'aide de métriques.

Regroupe et visualise les métriques des tâches Ray dans AWS Glue Studio, sur la page d'exécution de chaque tâche.

Prend en charge la distribution des fichiers dans chaque répertoire de travail de votre cluster, le déversement d'objets du magasin d'objets Ray vers Amazon S3 et le contrôle du nombre minimum de composants master alloués à votre tâche Ray. Pour de plus amples informations, veuillez consulter Utilisation des paramètres de tâche dans les tâches Ray.

AWS Glue les sessions interactives pour Ray sont toujours disponibles en avant-première pour cette version.

AWS Glue pour Ray, l'intégration avec Amazon VPC n'est pas disponible actuellement. Les ressources d'un VPC in ne AWS seront pas accessibles sans itinéraire public. Pour plus d'informations sur l'utilisation AWS Glue avec Amazon VPC, consultez. Configuration de points de terminaison d’un VPC d’interface (AWS PrivateLink) pour AWS Glue (AWS PrivateLink)

AWS Glue for Ray est disponible dans l'est des États-Unis (Virginie du Nord), dans l'est des États-Unis (Ohio), dans l'ouest des États-Unis (Oregon), en Asie-Pacifique (Tokyo) et en Europe (Irlande).

Spark 3.1.1

Python 3.7

Construit la bibliothèque AWS Glue ETL par rapport à Spark 3.0, qui est une version majeure de Spark.

Les tâches de streaming sont prises en charge sur AWS Glue  3.0.

Inclut de nouvelles optimisations d'exécution de AWS Glue Spark en termes de performances et de fiabilité :

Plusieurs dépendances requises pour la nouvelle version de Spark ont été mises à niveau.

Pilotes JDBC mis à niveau pour nos sources de données prises en charge en mode natif.

AWS Glue les transformations du machine learning ne sont pas encore disponibles dans la AWS Glue version 3.0.

Certains connecteurs Spark personnalisés ne fonctionnent pas avec AWS Glue  3.0 s'ils dépendent de Spark 2.4 et ne sont pas compatibles avec Spark 3.1.

Spark 2.4.3

Python 3.7

Une infrastructure améliorée pour exécuter des tâches ETL Apache Spark AWS Glue avec des temps de démarrage réduits.

Désormais, la journalisation par défaut est en temps réel, avec des flux séparés pour les pilotes et les exécuteurs, ainsi que des sorties et des erreurs.

Prise en charge de la spécification de modules Python supplémentaires ou de versions différentes au niveau de la tâche.

Spark 2.4.3

Python 2.7

Python 3.6

AWS Glue les versions 0.9 et 1.0 ne seront pas disponibles en Asie-Pacifique (Jakarta) (ap-southeast-3), au Moyen-Orient (Émirats arabes unis) (me-central-1) ou dans d'autres nouvelles régions à l'avenir.

Spark 2.2.1

Python 2.7

AWS Glue les versions 0.9 et 1.0 ne seront pas disponibles en Asie-Pacifique (Jakarta) (ap-southeast-3), au Moyen-Orient (Émirats arabes unis) (me-central-1) ou dans d'autres nouvelles régions à l'avenir.