View a markdown version of this page

AWSexécution pour Apache Spark (emr-spark-8.0.0) sur EKS - Amazon EMR
VersionsNotes de mise à jourChangements et fonctionnalités

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

AWSexécution pour Apache Spark (emr-spark-8.0.0) sur EKS

Cette page décrit les fonctionnalités nouvelles et mises à jour d'Amazon EMR spécifiques au déploiement d'Amazon EMR on EKS. Pour en savoir plus sur Amazon EMR exécuté sur Amazon EC2 et sur la version 8.0.0 d'Amazon EMR Spark en général, AWSconsultez Runtime for Apache Spark (emr-spark-8.0.0) dans le guide de mise à jour d'Amazon EMR.

AWSexécution pour Apache Spark (emr-spark-8.0.0) sur EKS

Les versions suivantes d'emr-spark-8.0.0 sont disponibles pour l'AWSexécution d'Apache Spark sur EKS. Sélectionnez une version spécifique d'EMR-Spark-8.0.0-xxxx pour afficher plus de détails, tels que la balise d'image du conteneur associée.

Spark releases

Les versions suivantes d'emr-spark-8.0.0 sont disponibles pour l'AWSexécution d'Apache Spark sur EKS lorsque vous exécutez des applications Spark. Sélectionnez une spark/ version pour afficher des détails tels que l'étiquette de version et le tag image du conteneur. Les livy/ variantes notebook-spark/notebook-python/, et utilisent le même format d'étiquette de version (par exemple,emr-spark-8.0.0-latest) avec le préfixe d'image du conteneur correspondant.

  • emr-spark-8.0.0-plus récent

  • emr-spark-8.0.0-20260421

  • notebook-spark/emr-spark-8.0.0-latest

  • notebook-spark/emr-spark-8.0.0-20260421

  • notebook-python/emr-spark-8.0.0-latest

  • notebook-python/emr-spark-8.0.0-20260421

  • livy/emr-spark-8.0.0-latest

  • livy/emr-spark-8.0.0-20260421

Notes de mise à jour

Notes de mise à jour relatives à l'AWSexécution d'Apache Spark (emr-spark-8.0.0) sur EKS :

  • Applications prises en charge – AWSSDK for Java 2.41.32, Apache Spark 4.0.2-amzn-0, Apache Hudi 1.1.0-amzn-0, Apache Iceberg 1.10.1-amzn-0, Delta Lake 4.0.0-amzn-1-spark

  • Composants pris en charge ‐ emr-ddbemr-goodies,hadoop-client,hudi,,hudi-spark,iceberg,spark-kubernetes.

  • Classifications de configuration prises en charge

    À utiliser avec StartJobRunles CreateManagedEndpointAPI et :

    Classifications Descriptions

    core-site

    Modifiez les valeurs dans le fichier Hadoop core-site.xml.

    spark-metrics

    Modifiez les valeurs dans le fichier Spark metrics.properties.

    spark-defaults

    Modifiez les valeurs dans le fichier Spark spark-defaults.conf.

    spark-env

    Modifiez les valeurs dans l'environnement Spark.

    spark-hive-site

    Modifiez les valeurs dans le fichier Spark hive-site.xml.

    spark-log4j2

    Modifiez les valeurs dans le fichier Spark log4j2.properties.

    emr-job-submitter

    Configuration pour le pod soumissionnaire de tâches.

    À utiliser spécifiquement avec les CreateManagedEndpointAPI :

    Classifications Descriptions

    jeg-config

    Modifiez les valeurs dans le fichier jupyter_enterprise_gateway_config.py Jupyter Enterprise Gateway.

    jupyter-kernel-overrides

    Modifiez la valeur de l'image du noyau dans le fichier Jupyter Kernel Spec.

    Les classifications de configuration vous permettent de personnaliser les applications. Elles correspondent souvent à un fichier XML de configuration de l'application, tel que spark-hive-site.xml. Pour plus d'informations, consultez la rubrique Configuration des applications.

Changements et fonctionnalités

Les fonctionnalités suivantes sont incluses dans la version emr-spark-8.0.0 du AWS runtime pour Apache Spark sur EKS :

  • Apache Spark 4.0.2 GA — Première version prête pour la production de Spark 4.x sur Amazon EMR on EKS, avec le mode ANSI SQL, la syntaxe SQL PIPE, le type de données VARIANT, les scripts SQL et des améliorations de streaming.

  • Python 3.11 par défaut — Python 3.11 est la version par défaut pour les charges de travail Spark PySpark et Spark. Python 3.12 et 3.13 sont également disponibles.