Versiones de Amazon EMR en EKS 6.10.0 - Amazon EMR

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Versiones de Amazon EMR en EKS 6.10.0

Las siguientes versiones de Amazon EMR 6.10.0 están disponibles para Amazon EMR en EKS. Seleccione una versión específica de emr-6.10.0-XXXX para ver más detalles, como la etiqueta de imagen de contenedor relacionada.

Notas de la versión de Amazon EMR 6.10.0

  • Aplicaciones compatibles: AWS SDK para Java 1.12.397, Spark 3.3.1-amzn-0, Hudi 0.12.2-amzn-0, Iceberg 1.1.0-amzn-0 y Delta 2.2.0.

  • Componentes compatibles: aws-sagemaker-spark-sdk, emr-ddb, emr-goodies, emr-s3-select, emrfs, hadoop-client, hudi, hudi-spark, iceberg, spark-kubernetes.

  • Clasificaciones de configuración compatibles:

    StartJobRunPara CreateManagedEndpoint APIsusar con y:

    Clasificaciones Descripciones

    core-site

    Cambia los valores en el archivo core-site.xml de Hadoop.

    emrfs-site

    Cambiar la configuración de EMRFS.

    spark-metrics

    Cambia los valores en el archivo metrics.properties de Spark.

    spark-defaults

    Cambia los valores en el archivo spark-defaults.conf de Spark.

    spark-env

    Cambiar los valores en el entorno de Spark.

    spark-hive-site

    Cambia los valores en el archivo hive-site.xml de Spark.

    spark-log4j

    Cambia los valores en el archivo log4j.properties de Spark.

    Para usar específicamente con CreateManagedEndpoint APIs:

    Clasificaciones Descripciones

    jeg-config

    Cambia los valores en el archivo jupyter_enterprise_gateway_config.py de Jupyter Enterprise Gateway.

    jupyter-kernel-overrides

    Cambia el valor de la imagen del kernel en el archivo de especificaciones del kernel de Jupyter.

    Las clasificaciones de configuración le permiten personalizar las aplicaciones. Suelen corresponder a un archivo XML de configuración para la aplicación como, por ejemplo, spark-hive-site.xml. Para obtener más información, consulte Configuración de aplicaciones.

Características notables

  • Operador de Spark: con Amazon EMR en EKS 6.10.0 y versiones posteriores, puede usar el operador de Kubernetes para Apache Spark, o el operador de Spark, para implementar y administrar aplicaciones de Spark con el tiempo de ejecución de versiones de Amazon EMR en sus propios clústeres de Amazon EKS. Para obtener más información, consulte Ejecución de trabajos de Spark con el operador de Spark.

  • Java 11: con Amazon EMR en EKS 6.10 y versiones posteriores, puede lanzar Spark con el tiempo de ejecución de Java 11. Para ello, pase emr-6.10.0-java11-latest como una etiqueta de versión. Le recomendamos que valide y ejecute pruebas de rendimiento antes de mover las cargas de trabajo de producción de la imagen de Java 8 a la imagen de Java 11.

  • Para la integración de Amazon Redshift con Apache Spark, Amazon EMR en EKS 6.10.0 elimina la dependencia de minimal-json.jar y agrega automáticamente los jars de spark-redshift a la ruta de clases del ejecutor de Spark: spark-redshift.jar, spark-avro.jar y RedshiftJDBC.jar.

Cambios

  • El confirmador EMRFS optimizado para S3 ahora está habilitado de forma predeterminada para formatos Parquet, ORC y basados en texto (incluidos CSV y JSON).