Versions d'Amazon EMR on EKS 7.3.0 - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Versions d'Amazon EMR on EKS 7.3.0

Cette page décrit les fonctionnalités nouvelles et mises à jour d'Amazon EMR spécifiques au déploiement d'Amazon EMR on EKS. Pour en savoir plus sur Amazon EMR exécuté sur Amazon EC2 et sur la version 7.3.0 d'Amazon EMR en général, consultez Amazon EMR 7.3.0 dans le guide de mise à jour d'Amazon EMR.

Amazon EMR sur EKS versions 7.3

Les versions 7.3.0 d'Amazon EMR suivantes sont disponibles pour Amazon EMR sur EKS. Sélectionnez une version EMR-7.3.0-xxxx spécifique pour afficher plus de détails, tels que la balise d'image du conteneur associée.

Flink releases

Les versions 7.3.0 d'Amazon EMR suivantes sont disponibles pour Amazon EMR sur EKS lorsque vous exécutez des applications Flink.

Spark releases

Les versions 7.3.0 d'Amazon EMR suivantes sont disponibles pour Amazon EMR sur EKS lorsque vous exécutez des applications Spark.

  • emr-7.3.0-dernier

  • emr-7.3.0-29240920

  • emr-7.3.0-spark-rapids-latest

  • emr-7.3.0-spark-rapids-29240920

  • emr-7.3.0-java11-latest

  • emr-7.3.0-java11-29240920

  • emr-7.3.0-java8-latest

  • emr-7.3.0-java8-29240920

  • emr-7.3.0-spark-rapids-java8-latest

  • emr-7.3.0-spark-rapids-java8-29240920

  • notebook-spark/emr-7.3.0-latest

  • notebook-spark/emr-7.3.0-29240920

  • notebook-spark/emr-7.3.0-spark-rapids-latest

  • notebook-spark/emr-7.3.0-spark-rapids-29240920

  • notebook-spark/emr-7.3.0-java11-latest

  • notebook-spark/emr-7.3.0-java11-29240920

  • notebook-spark/emr-7.3.0-java8-latest

  • notebook-spark/emr-7.3.0-java8-29240920

  • notebook-spark/emr-7.3.0-spark-rapids-java8-latest

  • notebook-spark/emr-7.3.0-spark-rapids-java8-29240920

  • notebook-python/emr-7.3.0-latest

  • notebook-python/emr-7.3.0-29240920

  • notebook-python/emr-7.3.0-spark-rapids-latest

  • notebook-python/emr-7.3.0-spark-rapids-29240920

  • notebook-python/emr-7.3.0-java11-latest

  • notebook-python/emr-7.3.0-java11-29240920

  • notebook-python/emr-7.3.0-java8-latest

  • notebook-python/emr-7.3.0-java8-29240920

  • notebook-python/emr-7.3.0-spark-rapids-java8-latest

  • notebook-python/emr-7.3.0-spark-rapids-java8-29240920

  • livy/emr-7.3.0-latest

  • livy/emr-7.3.0-29240920

  • livy/emr-7.3.0-java11-latest

  • livy/emr-7.3.0-java11-29240920

  • livy/emr-7.3.0-java8-latest

  • livy/emr-7.3.0-java8-29240920

Notes de mise à jour

Notes de mise à jour pour Amazon EMR sur EKS 7.3.0

  • Applications prises en charge – AWS SDK pour Java 2.25.70 and 1.12.747, Apache Spark 3.5.1-amzn-1, Apache Hudi 0.15.0-amzn-0, Apache Iceberg 1.5.2-amzn-0, Delta 3.2.0-amzn-0, Apache Spark RAPIDS 24.06.1-amzn-0, Jupyter Enterprise Gateway 2.6.0, Apache Flink 1.18.1-amzn-2, Flink Operator 1.9.0-amzn-0

  • Composants pris en charge : aws-sagemaker-spark-sdk, emr-ddb, emr-goodies, emr-s3-select, emrfs, hadoop-client, hudi, hudi-spark, iceberg, spark-kubernetes.

  • Classifications de configuration prises en charge

    À utiliser avec StartJobRunet  CreateManagedEndpoint APIs:

    Classifications Descriptions

    core-site

    Modifiez les valeurs dans le fichier Hadoop core-site.xml.

    emrfs-site

    Modifiez les paramètres EMRFS.

    spark-metrics

    Modifiez les valeurs dans le fichier Spark metrics.properties.

    spark-defaults

    Modifiez les valeurs dans le fichier Spark spark-defaults.conf.

    spark-env

    Modifiez les valeurs dans l'environnement Spark.

    spark-hive-site

    Modifiez les valeurs dans le fichier Spark hive-site.xml.

    spark-log4j2

    Modifiez les valeurs dans le fichier Spark log4j2.properties.

    emr-job-submitter

    Configuration pour le pod soumissionnaire de tâches.

    À utiliser spécifiquement avec  CreateManagedEndpoint APIs:

    Classifications Descriptions

    jeg-config

    Modifiez les valeurs dans le fichier jupyter_enterprise_gateway_config.py Jupyter Enterprise Gateway.

    jupyter-kernel-overrides

    Modifiez la valeur de l'image du noyau dans le fichier Jupyter Kernel Spec.

    Les classifications de configuration vous permettent de personnaliser les applications. Elles correspondent souvent à un fichier XML de configuration de l'application, tel que spark-hive-site.xml. Pour plus d'informations, consultez la rubrique Configuration des applications.

Fonctionnalités notables

Les fonctionnalités suivantes sont incluses dans la version 7.3.0 d'Amazon EMR sur EKS.

  • Mises à niveau des applications — Amazon EMR on EKS inclut désormais Flink Operator 1.9.0. Outre d'autres fonctionnalités, le Flink Kubernetes vous permet désormais de définir des quotas de processeur et de mémoire pour l'autoscaler.

  • Support d'Apache Iceberg pour Apache Flink — Apache Iceberg est un format open source performant de grandes tables analytiques. À partir d'Amazon EMR 7.3.0, vous pouvez utiliser les tables Apache Iceberg lorsque vous exécutez Apache Flink sur Amazon EMR sur EKS. Pour plus d'informations, consultez le document Amazon EMR sur EKS utilisant Apache Iceberg avec Amazon EMR sur EKS.

  • Support de Delta Lake pour Apache Flink — Delta Lake est un framework de couche de stockage pour les architectures Lakehouse généralement construites sur Amazon S3. Avec Amazon EMR 7.3.0 et versions ultérieures, vous pouvez utiliser des tables Delta lorsque vous exécutez Apache Flink sur Amazon EMR sur EKS. Pour plus d'informations, consultez la section Utilisation de Delta Lake avec Amazon EMR sur EKS.

Modifications

Les modifications suivantes sont incluses dans la version 7.3.0 d'Amazon EMR sur EKS.

  • Avec Amazon EMR sur EKS 7.3.0 et versions ultérieures, Apache Flink utilise désormais le runtime Java 17 par défaut.