Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Versiones 7.2.0 de Amazon EMR en EKS
Esta página describe la funcionalidad nueva y actualizada de Amazon EMR que es específica de la implementación de Amazon EMR en EKS. Para obtener más información sobre Amazon EMR que se ejecuta en Amazon EC2 y sobre la versión 7.2.0 de Amazon EMR en general, consulte Amazon EMR 7.2.0 en la Guía de versiones de Amazon EMR.
Versiones 7.2 de Amazon EMR en EKS
Las siguientes versiones 7.2.0 de Amazon EMR están disponibles para Amazon EMR en EKS. Seleccione una versión específica de emr-7.2.0-XXXX para ver más detalles, como la etiqueta de imagen de contenedor relacionada.
Notas de la versión
Notas de la versión 7.2.0 de Amazon EMR en EKS
-
Aplicaciones compatibles: AWS SDK para Java 2.23.18 and 1.12.705, Apache Spark 3.5.1-amzn-1, Apache Hudi 0.14.1-amzn-0, Apache Iceberg 1.5.0-amzn-0, Delta 3.1.0, Apache Spark RAPIDS 24.02.0-amzn-1, Jupyter Enterprise Gateway 2.6.0, Apache Flink 1.18.1-amzn-0, Flink Operator 1.8.0-amzn-1
-
Componentes compatibles:
aws-sagemaker-spark-sdk,emr-ddb,emr-goodies,emr-s3-select,emrfs,hadoop-client,hudi,hudi-spark,iceberg,spark-kubernetes. -
Clasificaciones de configuración compatibles
Para usar con y: StartJobRun CreateManagedEndpoint APIs
Clasificaciones Descripciones core-siteCambia los valores en el archivo de Hadoop
core-site.xml.emrfs-siteCambiar la configuración de EMRFS.
spark-metricsCambia los valores en el archivo de Spark
metrics.properties.spark-defaultsCambia los valores en el archivo de Spark
spark-defaults.conf.spark-envCambiar los valores en el entorno de Spark.
spark-hive-siteCambia los valores en el archivo de Spark
hive-site.xml.spark-log4j2Cambia los valores en el archivo de Spark
log4j2.properties.emr-job-submitterConfiguración del pod de remitente de trabajos.
Para su uso específico con CreateManagedEndpoint APIs:
Clasificaciones Descripciones jeg-configCambia los valores en el archivo
jupyter_enterprise_gateway_config.pyde Jupyter Enterprise Gateway.jupyter-kernel-overridesCambia el valor de la imagen del kernel en el archivo de especificaciones del kernel de Jupyter.
Las clasificaciones de configuración le permiten personalizar las aplicaciones. Suelen corresponder a un archivo XML de configuración para la aplicación como, por ejemplo,
spark-hive-site.xml. Para obtener más información, consulte Configuración de aplicaciones.
Características notables
Las siguientes características se incluyen en la versión 7.2.0 de Amazon EMR en EKS.
-
Actualizaciones de la aplicación: las actualizaciones de la aplicación de Amazon EMR en EKS 7.2.0 incluyen Spark 3.5.1, Flink 1.18.1 y Flink Operator 1.8.0.
-
Actualizaciones del escalador automático para Flink: la versión 7.2.0 utiliza la configuración de código abierto
job.autoscaler.restart.time-tracking.enabledpara permitir el cálculo del tiempo de reescalado, por lo que ya no es necesario asignar manualmente valores empíricos al tiempo de reinicio. Si ejecuta la versión 7.1.0 o una versión anterior, puede seguir utilizando el escalado automático de Amazon EMR. -
Integración de Apache Hudi Apache Flink en Amazon EMR en EKS: esta versión añade una integración entre Apache Hudi y Apache Flink, de modo que puede utilizar el operador Flink Kubernetes para ejecutar trabajos de Hudi. Hudi le permite utilizar operaciones a nivel de registro que puede utilizar para simplificar la administración de datos y el desarrollo de la canalización de datos.
-
Integración de Amazon S3 Express One Zone con Amazon EMR en EKS: con la versión 7.2.0 y versiones posteriores, puede cargar datos en S3 Express One Zone con Amazon EMR en EKS. S3 Express One Zone es una clase de almacenamiento de Amazon S3 en zona única de alto rendimiento que ofrece acceso constante a los datos en milisegundos de un solo dígito para los datos a los que accede para las aplicaciones más sensibles a la latencia. En el momento de su lanzamiento, S3 Express One Zone ofrece el almacenamiento de objetos en la nube con la latencia más baja y el rendimiento más alto de Amazon S3.
-
Compatibilidad con las configuraciones predeterminadas en el operador Spark: el operador Spark de Amazon EKS ahora admite las mismas configuraciones predeterminadas que el modelo de ejecución de trabajos de inicio en Amazon EMR en EKS para la versión 7.2.0 y versiones posteriores. Esto significa que funciones como Amazon S3 y EMRFS ya no requieren configuraciones manuales en el archivo yaml.
