Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Versions d'Amazon EMR on EKS 7.12.0
Cette page décrit les fonctionnalités nouvelles et mises à jour d'Amazon EMR spécifiques au déploiement d'Amazon EMR on EKS. Pour en savoir plus sur Amazon EMR exécuté sur Amazon EC2 et sur la version 7.12.0 d'Amazon EMR en général, consultez Amazon EMR 7.12.0 dans le guide de mise à jour d'Amazon EMR.
Amazon EMR sur les versions 7.12 d'EKS
Les versions 7.12.0 d'Amazon EMR suivantes sont disponibles pour Amazon EMR sur EKS. Sélectionnez une version EMR-7.12.0-xxxx spécifique pour afficher plus de détails, tels que la balise d'image du conteneur associée.
Notes de mise à jour
Notes de mise à jour pour Amazon EMR sur EKS 7.12.0 :
-
Applications prises en charge – AWS SDK pour Java 2.35.5 and 1.12.792, Apache Spark 3.5.6-amzn-1, Apache Hudi 1.0.2-amzn-1, Apache Iceberg 1.10.0-amzn-0, Delta 3.3.2-amzn-1, Apache Spark RAPIDS 25.04.0-amzn-0, Apache Flink 1.20.0-amzn-6
-
Composants pris en charge ‐
emr-ddbemr-goodiesemr-s3-select,,emrfs,hadoop-client,hudi,hudi-spark,iceberg,spark-kubernetes. -
Classifications de configuration prises en charge
À utiliser avec StartJobRunet CreateManagedEndpoint APIs:
Classifications Descriptions core-siteModifiez les valeurs dans le fichier Hadoop
core-site.xml.emrfs-siteModifiez les paramètres EMRFS.
spark-metricsModifiez les valeurs dans le fichier Spark
metrics.properties.spark-defaultsModifiez les valeurs dans le fichier Spark
spark-defaults.conf.spark-envModifiez les valeurs dans l'environnement Spark.
spark-hive-siteModifiez les valeurs dans le fichier Spark
hive-site.xml.spark-log4j2Modifiez les valeurs dans le fichier Spark
log4j2.properties.emr-job-submitterConfiguration pour le pod soumissionnaire de tâches.
À utiliser spécifiquement avec CreateManagedEndpoint APIs:
Classifications Descriptions jeg-configModifiez les valeurs dans le fichier
jupyter_enterprise_gateway_config.pyJupyter Enterprise Gateway.jupyter-kernel-overridesModifiez la valeur de l'image du noyau dans le fichier Jupyter Kernel Spec.
Les classifications de configuration vous permettent de personnaliser les applications. Elles correspondent souvent à un fichier XML de configuration de l'application, tel que
spark-hive-site.xml. Pour plus d'informations, consultez la rubrique Configuration des applications.
Changements et fonctionnalités
Les fonctionnalités suivantes sont incluses dans la version 7.12.0 d'Amazon EMR sur EKS :
-
Vues matérialisées d'icebergs — À partir de la version 7.12.0 d'EMR, EMR Spark prend en charge la création et la gestion de vues matérialisées d'iceberg (MV).
-
Accès complet aux tables à Hudi — Depuis EMR 7.12.0, EMR prend désormais en charge le contrôle FTA (Full Table Access) pour Apache Hudi dans Apache Spark en fonction de vos politiques définies dans Lake Formation. Cette fonctionnalité permet d'effectuer des opérations de lecture et d'écriture à partir de vos tâches Amazon EMR Spark sur les tables enregistrées de Lake Formation lorsque le rôle de tâche dispose d'un accès complet aux tables.
-
Mise à niveau de la version Iceberg — EMR 7.12.0 prend en charge la version 1.10 d'Apache Iceberg.
-
Journalisation des charges de travail interactives de Livy : à partir de la version 7.12.0 d'EMR, EMR prend en charge une journalisation complète des principaux composants du système afin d'améliorer le dépannage en cas d'échec des tâches de Livy Spark. Cette fonctionnalité permettra au service EMR d'accéder à des Livy et à des SecretAgent journaux supplémentaires afin de simplifier le dépannage.
