View a markdown version of this page

AWStiempo de ejecución para Apache Spark (emr-spark-8.0.0) en EKS - Amazon EMR
VersionesNotas de la versiónCambios y características

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

AWStiempo de ejecución para Apache Spark (emr-spark-8.0.0) en EKS

Esta página describe la funcionalidad nueva y actualizada de Amazon EMR que es específica de la implementación de Amazon EMR en EKS. Para obtener más información sobre Amazon EMR que se ejecuta en Amazon EC2 y sobre la versión 8.0.0 de Amazon EMR Spark en general, AWSconsulte el tiempo de ejecución de Apache Spark (emr-spark-8.0.0) en la Guía de versiones de Amazon EMR.

AWStiempo de ejecución de Apache Spark (emr-spark-8.0.0) en EKS

Las siguientes versiones de emr-spark-8.0.0 están disponibles para el tiempo de ejecución de Apache Spark en EKS. AWS Seleccione una versión específica de EMR-SPARK-8.0.0-xxxx para ver más detalles, como la etiqueta de imagen del contenedor correspondiente.

Spark releases

Las siguientes versiones de emr-spark-8.0.0 están disponibles para el tiempo de ejecución de Apache Spark en EKS cuando se ejecutan aplicaciones de Spark. AWS Selecciona una spark/ versión para ver los detalles, como la etiqueta de publicación y la etiqueta con la imagen del contenedor. livy/Las variantes notebook-spark/notebook-python/, y utilizan el mismo formato de etiqueta de publicación (por ejemploemr-spark-8.0.0-latest) con el prefijo de imagen del contenedor correspondiente.

  • emr-spark-8.0.0-latest

  • emr-spark-8.0.0-20260421

  • notebook-spark/emr-spark-8.0.0-latest

  • notebook-spark/emr-spark-8.0.0-20260421

  • notebook-python/emr-spark-8.0.0-latest

  • notebook-python/emr-spark-8.0.0-20260421

  • livy/emr-spark-8.0.0-latest

  • livy/emr-spark-8.0.0-20260421

Notas de la versión

Notas de la versión sobre el tiempo AWS de ejecución de Apache Spark (emr-spark-8.0.0) en EKS:

  • Aplicaciones compatibles: AWSSDK for Java 2.41.32, Apache Spark 4.0.2-amzn-0, Apache Hudi 1.1.0-amzn-0, Apache Iceberg 1.10.1-amzn-0, Delta Lake 4.0.0-amzn-1-spark

  • Componentes compatibles ‐emr-ddb,,,,emr-goodies,hadoop-client. hudi hudi-spark iceberg spark-kubernetes

  • Clasificaciones de configuración compatibles

    Para su uso con StartJobRunlas CreateManagedEndpointAPI:

    Clasificaciones Descripciones

    core-site

    Cambia los valores en el archivo de Hadoop core-site.xml.

    spark-metrics

    Cambia los valores en el archivo de Spark metrics.properties.

    spark-defaults

    Cambia los valores en el archivo de Spark spark-defaults.conf.

    spark-env

    Cambiar los valores en el entorno de Spark.

    spark-hive-site

    Cambia los valores en el archivo de Spark hive-site.xml.

    spark-log4j2

    Cambia los valores en el archivo de Spark log4j2.properties.

    emr-job-submitter

    Configuración del pod de remitente de trabajos.

    Para su uso específico con CreateManagedEndpointlas API:

    Clasificaciones Descripciones

    jeg-config

    Cambia los valores en el archivo jupyter_enterprise_gateway_config.py de Jupyter Enterprise Gateway.

    jupyter-kernel-overrides

    Cambia el valor de la imagen del kernel en el archivo de especificaciones del kernel de Jupyter.

    Las clasificaciones de configuración le permiten personalizar las aplicaciones. Suelen corresponder a un archivo XML de configuración para la aplicación como, por ejemplo, spark-hive-site.xml. Para obtener más información, consulte Configuración de aplicaciones.

Cambios y características

La versión emr-spark-8.0.0 del motor de AWS ejecución para Apache Spark en EKS incluye las siguientes funciones:

  • Apache Spark 4.0.2 GA: primera versión lista para producción de Spark 4.x en Amazon EMR en EKS, con mejoras en el modo ANSI SQL, la sintaxis de SQL PIPE, el tipo de datos VARIANT, las secuencias de comandos SQL y la transmisión.

  • Python 3.11 predeterminado: Python 3.11 es el valor predeterminado para PySpark las cargas de trabajo de Spark. Python 3.12 y 3.13 también están disponibles.