Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Versions 7.0.0 d’Amazon EMR sur EKS
Cette page décrit les fonctionnalités nouvelles et mises à jour d'Amazon EMR spécifiques au déploiement d'Amazon EMR on EKS. Pour en savoir plus sur Amazon EMR exécuté sur Amazon EC2 et sur la version 7.0.0 d'Amazon EMR en général, consultez Amazon EMR 7.0.0 dans le guide de mise à jour d'Amazon EMR.
Versions 7.0 d’Amazon EMR sur EKS
Les versions 7.0.0 suivantes d’Amazon EMR sont disponibles pour Amazon EMR sur EKS. Sélectionnez une version emr-7.0.0-XXXX spécifique pour afficher plus d’informations, comme la balise de l’image du conteneur correspondant.
Notes de mise à jour
Notes de mise à jour pour Amazon EMR sur EKS 7.0.0
-
Applications prises en charge – AWS SDK pour Java 2.20.160-amzn-0 and 1.12.595, Apache Spark 3.5.0-amzn-0, Apache Flink 1.18.0-amzn-0, Flink Operator 1.6.1, Apache Hudi 0.14.0-amzn-1, Apache Iceberg 1.4.2-amzn-0, Delta 3.0.0, Apache Spark RAPIDS 23.10.0-amzn-0, Jupyter Enterprise Gateway 2.6.0
-
Composants pris en charge :
aws-sagemaker-spark-sdk,emr-ddb,emr-goodies,emr-s3-select,emrfs,hadoop-client,hudi,hudi-spark,iceberg,spark-kubernetes. -
Classifications de configuration prises en charge
À utiliser avec StartJobRunet CreateManagedEndpoint APIs:
Classifications Descriptions core-siteModifiez les valeurs dans le fichier Hadoop
core-site.xml.emrfs-siteModifiez les paramètres EMRFS.
spark-metricsModifiez les valeurs dans le fichier Spark
metrics.properties.spark-defaultsModifiez les valeurs dans le fichier Spark
spark-defaults.conf.spark-envModifiez les valeurs dans l'environnement Spark.
spark-hive-siteModifiez les valeurs dans le fichier Spark
hive-site.xml.spark-log4jModifiez les valeurs dans le fichier Spark
log4j2.properties.emr-job-submitterConfiguration pour le pod soumissionnaire de tâches.
À utiliser spécifiquement avec CreateManagedEndpoint APIs:
Classifications Descriptions jeg-configModifiez les valeurs dans le fichier
jupyter_enterprise_gateway_config.pyJupyter Enterprise Gateway.jupyter-kernel-overridesModifiez la valeur de l'image du noyau dans le fichier Jupyter Kernel Spec.
Les classifications de configuration vous permettent de personnaliser les applications. Elles correspondent souvent à un fichier XML de configuration de l'application, tel que
spark-hive-site.xml. Pour plus d'informations, consultez la rubrique Configuration des applications.
Fonctionnalités notables
Les fonctionnalités suivantes sont incluses dans la version 7.0 d’Amazon EMR sur EKS.
-
Mises à niveau d’application – Les mises à niveau d’application Amazon EMR sur EKS 7.0.0 incluent Spark 3.5, Flink 1.18 et Flink Operator 1.6.1.
-
Réglage automatique des paramètres de l’outil de mise à l’échelle automatique Flink : les paramètres par défaut utilisés par l’outil de mise à l’échelle automatique Flink pour ses calculs de mise à l’échelle peuvent ne pas être optimaux pour une tâche donnée. Amazon EMR sur EKS 7.0.0 utilise les tendances historiques de mesures capturées spécifiques pour calculer le paramètre optimal pour la tâche en question.
Modifications
Les fonctionnalités suivantes sont incluses dans la version 7.0 d’Amazon EMR sur EKS.
-
Amazon Linux 2023 — Avec Amazon EMR sur EKS 7.0.0 et versions ultérieures, toutes les images de conteneur sont basées sur Amazon Linux 2023.
-
Spark utilise Java 17 comme environnement d’exécution par défaut : dans Amazon EMR sur EKS 7.0.0, Spark utilise Java 17 comme environnement d’exécution par défaut. Si nécessaire, vous pouvez passer à Java 8 ou Java 11 avec l’étiquette de version correspondante, comme indiqué dans la liste Versions 7.0 d’Amazon EMR sur EKS.
