View a markdown version of this page

AWS runtime pour Apache Spark (emr-spark-8.0.0) sur EKS - Amazon EMR
VersionsNotes de mise à jourChangements et fonctionnalités

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

AWS runtime pour Apache Spark (emr-spark-8.0.0) sur EKS

Cette page décrit les fonctionnalités nouvelles et mises à jour d'Amazon EMR spécifiques au déploiement d'Amazon EMR on EKS. Pour plus d'informations sur l'exécution d'Amazon EMR sur Amazon EC2 et sur la version 8.0.0 d'Amazon EMR Spark en général, consultez la section AWS Runtime for Apache Spark (emr-spark-8.0.0) dans le Amazon EMR Release Guide.

AWS runtime pour Apache Spark (emr-spark-8.0.0) sur EKS

Les versions d'emr-spark-8.0.0 suivantes peuvent être exécutées pour Apache Spark sur AWS EKS. Sélectionnez une version spécifique d'EMR-SPARK-8.0.0-xxxx pour afficher plus de détails, tels que la balise d'image du conteneur associée.

Spark releases

Les versions d'emr-spark-8.0.0 suivantes peuvent être exécutées pour AWS Apache Spark sur EKS lorsque vous exécutez des applications Spark. Sélectionnez une spark/ version pour afficher des détails tels que l'étiquette de la version et l'étiquette d'image du conteneur. Les livy/ variantesnotebook-spark/,notebook-python/, et utilisent le même format d'étiquette de publication (par exemple,emr-spark-8.0.0-latest) avec le préfixe d'image de conteneur correspondant.

Notes de mise à jour

Notes de publication pour l' AWS exécution d'Apache Spark (emr-spark-8.0.0) sur EKS :

  • Applications prises en charge – AWS SDK for Java 2.41.32, Apache Spark 4.0.2-amzn-0, Apache Hudi 1.1.0-amzn-0, Apache Iceberg 1.10.1-amzn-0, Delta Lake 4.0.0-amzn-1-spark

  • Composants pris en charge ‐ emr-ddbemr-goodies,hadoop-client,hudi,hudi-spark,iceberg,spark-kubernetes.

  • Classifications de configuration prises en charge

    À utiliser avec StartJobRun et les CreateManagedEndpoint API :

    Classifications Descriptions

    core-site

    Modifiez les valeurs dans le fichier Hadoop core-site.xml.

    spark-metrics

    Modifiez les valeurs dans le fichier Spark metrics.properties.

    spark-defaults

    Modifiez les valeurs dans le fichier Spark spark-defaults.conf.

    spark-env

    Modifiez les valeurs dans l'environnement Spark.

    spark-hive-site

    Modifiez les valeurs dans le fichier Spark hive-site.xml.

    spark-log4j2

    Modifiez les valeurs dans le fichier Spark log4j2.properties.

    emr-job-submitter

    Configuration pour le pod soumissionnaire de tâches.

    À utiliser spécifiquement avec CreateManagedEndpoint les API :

    Classifications Descriptions

    jeg-config

    Modifiez les valeurs dans le fichier jupyter_enterprise_gateway_config.py Jupyter Enterprise Gateway.

    jupyter-kernel-overrides

    Modifiez la valeur de l'image du noyau dans le fichier Jupyter Kernel Spec.

    Les classifications de configuration vous permettent de personnaliser les applications. Elles correspondent souvent à un fichier XML de configuration de l'application, tel que spark-hive-site.xml. Pour plus d'informations, consultez la rubrique Configuration des applications.

Changements et fonctionnalités

Les fonctionnalités suivantes sont incluses dans la version emr-spark-8.0.0 du AWS runtime pour Apache Spark sur EKS :

  • Apache Spark 4.0.2 GA  : première version prête à être mise en production de Spark 4.x sur Amazon EMR sur EKS, avec le mode ANSI SQL, la syntaxe SQL PIPE, le type de données VARIANT, les scripts SQL et des améliorations de streaming.

  • Python 3.11 par défaut  : Python 3.11 est la valeur par défaut pour les charges de travail PySpark et Spark. Python 3.12 et 3.13 sont également disponibles.