Versions 6.10.0 d'Amazon EMR on EKS - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Versions 6.10.0 d'Amazon EMR on EKS

Les versions 6.10.0 suivantes d'Amazon EMR sont disponibles pour Amazon EMR on EKS. Sélectionnez une version emr-6.10.0-XXXX spécifique pour voir plus de détails tels que la balise de l'image du conteneur correspondant.

Notes de mise à jour pour Amazon EMR 6.10.0

  • Applications prises en charge ‐ AWS SDK pour Java 1.12.397, Spark 3.3.1-amzn-0, Hudi 0.12.2-amzn-0, Iceberg 1.1.0-amzn-0, Delta 2.2.0.

  • Composants pris en charge : aws-sagemaker-spark-sdk, emr-ddb, emr-goodies, emr-s3-select, emrfs, hadoop-client, hudi, hudi-spark, iceberg, spark-kubernetes.

  • Classifications de configuration prises en charge :

    À utiliser avec StartJobRunet  CreateManagedEndpoint APIs:

    Classifications Descriptions

    core-site

    Modifiez les valeurs dans le fichier core-site.xml de Hadoop.

    emrfs-site

    Modifiez les paramètres EMRFS.

    spark-metrics

    Modifiez les valeurs dans le fichier metrics.properties de Spark.

    spark-defaults

    Modifiez les valeurs dans le fichier spark-defaults.conf de Spark.

    spark-env

    Modifiez les valeurs dans l'environnement Spark.

    spark-hive-site

    Modifiez les valeurs dans le fichier hive-site.xml de Spark.

    spark-log4j

    Modifiez les valeurs dans le fichier log4j.properties de Spark.

    À utiliser spécifiquement avec  CreateManagedEndpoint APIs:

    Classifications Descriptions

    jeg-config

    Modifiez les valeurs dans le fichier jupyter_enterprise_gateway_config.py Jupyter Enterprise Gateway.

    jupyter-kernel-overrides

    Modifiez la valeur de l'image du noyau dans le fichier Jupyter Kernel Spec.

    Les classifications de configuration vous permettent de personnaliser les applications. Elles correspondent souvent à un fichier XML de configuration de l'application, tel que spark-hive-site.xml. Pour plus d'informations, consultez la rubrique Configuration des applications.

Fonctionnalités notables

  • Opérateur Spark – Grâce à Amazon EMR on EKS en version 6.10.0 et supérieure, vous pouvez utiliser l'opérateur Kubernetes pour Apache Spark, ou l'opérateur Spark, pour déployer et gérer des applications Spark avec le moteur d'exécution de la version Amazon EMR sur vos propres clusters Amazon EKS. Pour de plus amples informations, veuillez consulter Exécution de tâches Spark à l'aide de l'opérateur Spark.

  • Java 11 – Grâce à Amazon EMR on EKS en version 6.10 et supérieure, vous pouvez lancer Spark avec le moteur d'exécution Java 11. Pour ce faire, indiquez emr-6.10.0-java11-latest comme étiquette de version. Nous vous recommandons de valider et d'exécuter des tests de performance avant de transférer vos charges de travail de production de l'image Java 8 vers l'image Java 11.

  • Pour l'intégration d'Amazon Redshift à Apache Spark, Amazon EMR on EKS 6.10.0 supprime la dépendance à minimal-json.jar et ajoute automatiquement les fichiers jar spark-redshift associés requis au chemin de classe de l'exécuteur pour Spark : spark-redshift.jar, spark-avro.jar et RedshiftJDBC.jar.

Modifications

  • Le validateur optimisé pour EMRFS S3 est désormais activé par défaut pour les formats parquet, ORC et texte (y compris CSV et JSON).