View a markdown version of this page

AWS exécution pour Apache Spark (emr-spark-8.0.0) sur EKS - Amazon EMR
VersionsNotes de mise à jourChangements et fonctionnalités

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

AWS exécution pour Apache Spark (emr-spark-8.0.0) sur EKS

Cette page décrit les fonctionnalités nouvelles et mises à jour d'Amazon EMR spécifiques au déploiement d'Amazon EMR on EKS. Pour en savoir plus sur Amazon EMR exécuté sur Amazon EC2 et sur la version 8.0.0 d'Amazon EMR Spark en général, AWS consultez Runtime for Apache Spark (emr-spark-8.0.0) dans le guide de mise à jour d'Amazon EMR.

AWS exécution pour Apache Spark (emr-spark-8.0.0) sur EKS

Les versions suivantes d'emr-spark-8.0.0 sont disponibles pour l' AWS exécution d'Apache Spark sur EKS.

  • spark/emr-spark-8.0.0-latest

  • spark/emr-spark-8.0.0-20260421

  • notebook-spark/emr-spark-8.0.0-latest

  • notebook-spark/emr-spark-8.0.0-20260421

  • notebook-python/emr-spark-8.0.0-latest

  • notebook-python/emr-spark-8.0.0-20260421

  • livy/emr-spark-8.0.0-latest

  • livy/emr-spark-8.0.0-20260421

Notes de mise à jour

Notes de mise à jour relatives à l' AWS exécution d'Apache Spark (emr-spark-8.0.0) sur EKS :

  • Applications prises en charge – AWS SDK for Java 2.41.32, Apache Spark 4.0.2-amzn-0, Apache Hudi 1.1.0-amzn-0, Apache Iceberg 1.10.1-amzn-0, Delta Lake 4.0.0-amzn-1-spark

  • Composants pris en charge ‐ emr-ddbemr-goodies,hadoop-client,hudi,,hudi-spark,iceberg,spark-kubernetes.

  • Classifications de configuration prises en charge

    À utiliser avec StartJobRunles CreateManagedEndpointAPI et :

    Classifications Descriptions

    core-site

    Modifiez les valeurs dans le fichier Hadoop core-site.xml.

    spark-metrics

    Modifiez les valeurs dans le fichier Spark metrics.properties.

    spark-defaults

    Modifiez les valeurs dans le fichier Spark spark-defaults.conf.

    spark-env

    Modifiez les valeurs dans l'environnement Spark.

    spark-hive-site

    Modifiez les valeurs dans le fichier Spark hive-site.xml.

    spark-log4j2

    Modifiez les valeurs dans le fichier Spark log4j2.properties.

    emr-job-submitter

    Configuration pour le pod soumissionnaire de tâches.

    À utiliser spécifiquement avec les CreateManagedEndpointAPI :

    Classifications Descriptions

    jeg-config

    Modifiez les valeurs dans le fichier jupyter_enterprise_gateway_config.py Jupyter Enterprise Gateway.

    jupyter-kernel-overrides

    Modifiez la valeur de l'image du noyau dans le fichier Jupyter Kernel Spec.

    Les classifications de configuration vous permettent de personnaliser les applications. Elles correspondent souvent à un fichier XML de configuration de l'application, tel que spark-hive-site.xml. Pour plus d'informations, consultez la rubrique Configuration des applications.

Changements et fonctionnalités

Les fonctionnalités suivantes sont incluses dans la version emr-spark-8.0.0 du AWS runtime pour Apache Spark sur EKS :

  • Apache Spark 4.0.2 GA — Première version prête pour la production de Spark 4.x sur Amazon EMR on EKS, avec le mode ANSI SQL, la syntaxe SQL PIPE, le type de données VARIANT, les scripts SQL et des améliorations de streaming.

  • Python 3.11 par défaut : Python 3.11 est la version par défaut pour PySpark les charges de travail Spark. Python 3.12 et 3.13 sont également disponibles.