Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
AWS tiempo de ejecución para Apache Spark (emr-spark-8.0.0)
Ciclo de vida compatible con emr-spark-8.0.0
En la siguiente tabla se describen las fechas de ciclo de vida admitidas para Amazon EMR Spark 8.0.0.
| Fase de soporte | Date |
|---|---|
| Fecha de lanzamiento inicial | 21 de mayo de 2026 |
| Soporte estándar hasta | 20 de mayo de 2027 |
| Fin de vida útil | 20 de mayo de 2027 |
Versiones de la aplicación emr-spark-8.0.0
Esta versión incluye las siguientes aplicaciones: AmazonCloudWatchAgent,,, DeltaHudi
En la siguiente tabla se enumeran las versiones de la aplicación disponibles en esta versión de Amazon EMR y las versiones de la aplicación en las tres versiones anteriores de Amazon EMR (cuando corresponda).
Para ver un historial completo de las versiones de la aplicación disponibles para cada versión de Amazon EMR, consulte los temas siguientes:
| emr-spark-8.0.0 | |
|---|---|
| AWS SDK for Java | 2.41.32 |
| Python | 3.11, 3.12, 3.13 |
| Scala | 2.13.16 |
| AmazonCloudWatchAgent | 1.300032.2-amzn-0 |
| Delta | 4.0.0-amzn-1-spark |
| Hudi | 1.1.0-amzn-0 |
| Iceberg | 1.10.1-amzn-0 |
| JupyterEnterpriseGateway | 2.6.0 |
| Livy | 0.8.0-incubating |
| Spark | 4.0.2-amzn-0 |
notas de la versión emr-spark-8.0.0
Las siguientes notas de la versión incluyen información sobre la versión 8.0.0 (emr-spark-8.0.0) de Amazon EMR, que incluye Apache Spark 4.0.2.
Novedades
Apache Spark 4.0.2 GA: primera versión de Spark 4.x lista para producción en Amazon EMR, basada en la rama upstream branch-4.0 con parches de Amazon para mejorar el rendimiento, la seguridad y la integración.
Disponible en EC2, EKS y Serverless: esta versión está disponible en todos los modos de implementación de Amazon EMR.
Modo ANSI SQL: el manejo de tipos más estricto está habilitado de forma predeterminada, lo que mejora la precisión del SQL y la compatibilidad con el comportamiento estándar de SQL.
Sintaxis SQL PIPE: nuevo operador |> para encadenar operaciones SQL en una sintaxis más legible, similar a la de una canalización.
Tipo de datos VARIANT: soporte nativo para datos JSON semiestructurados que utilizan el tipo VARIANT, lo que permite crear patrones de esquema en función de la lectura sin definiciones de esquema explícitas.
Secuencias de comandos SQL: controle las sentencias de flujo (WHILE y IF/ELSE FOR) y las variables de sesión para la lógica de SQL procedimental en Spark SQL.
User-Defined Funciones SQL: defina las UDF directamente en SQL sin necesidad Scala/Python de código.
Mejoras en la transmisión: API de procesamiento arbitrario con estado completo, versión 2, con WithState operador de transformación y puntos de control mejorados del registro de cambios de RockSDB.
Soporte para Apache Iceberg v3: soporte de tipos de datos VARIANT en tablas Iceberg, integración de tablas AWS S3.
Control de Fine-grained acceso nativo y acceso completo a las tablas (FTA): compatibles con las tablas Iceberg, Delta Lake y Hive.
JDK 17 predeterminado: Amazon Corretto 17 es la JVM predeterminada; también está disponible el JDK 21.
Scala 2.13: Spark 4.x deja de ser compatible con Scala 2.12; todos los componentes están basados en Scala 2.13.
Cambios y mejoras desde emr-spark-8.0-preview
Livy y disponibles como aplicaciones de carga de trabajo interactivas JupyterEnterpriseGateway
Soporte persistente para el servidor Spark History
Problemas conocidos y limitaciones
El terminal seguro Spark Connect compatible con FGAC nativo no está disponible en esta versión.
AL2023 incluye Python 3.9 como Python del sistema, pero no es compatible con las cargas de PySpark trabajo.
Migración desde EMR 7.x (Spark 3.5.x)
El modo ANSI SQL es el predeterminado: coerción de tipos más estricta; las conversiones implícitas que antes tenían éxito ahora pueden arrojar errores.
Scala 2.13: todas las versiones de Spark 4.x utilizan Scala 2.13. Recompila cualquier JAR personalizado creado con Scala 2.12.
JDK 17 predeterminado: Spark 4.0.2 solo es compatible con JDK 17 (predeterminado) y JDK 21.
Python 3.11 predeterminado: Python 3.9 ya no es el predeterminado para PySpark. Verifica la compatibilidad de tus dependencias de Python.
AWS AWS SDK: se ha eliminado el SDK v1 para Java. Actualice su aplicación para usar el AWS SDK v2 para mejorar el rendimiento y la administración de recursos.
Acceso a S3: EMRFS ya no está disponible. Utilice el conector S3A para escribir datos persistentes en Amazon S3 para mejorar el rendimiento y la compatibilidad. Consulte Optimizar el tiempo de ejecución de Amazon EMR para Apache Spark con EMR S3A. Se ha eliminado emr-s3-select
. Desarrollo interactivo: Zeppelin JupyterHub y Hue ya no están incluidos. Para el desarrollo interactivo de Spark, usa EMR Studio, Livy y. JupyterEnterpriseGateway
Tren de versiones independiente: la etiqueta del lanzamiento es emr-spark-8.0.0, no emr-8.0.0. Esta versión se centra en Spark. Para Flink, HBase, Phoenix, Tez, Trino y Presto, utilice EMR 7.x y espere a que salga el futuro lanzamiento multimotor emr-8.0.0. Pig y Oozie no están incluidos.
Punto de enlace de VPC para la comunicación entre clústeres de EMR: a partir de Amazon EMR Spark 8.0.0, Amazon EMR en EC2 aprovisiona un punto de enlace de VPC en su VPC para la comunicación entre el servicio Amazon EMR y su clúster al lanzar un clúster en subredes privadas. Su función de servicio Amazon EMR debe incluir
ec2:CreateVpcEndpointyec2:ModifyVpcEndpointpermisos, o bien debe crear el punto de enlace de la VPC manualmente antes de lanzar un clúster. El nombre del servicio de punto final de la VPC es.aws.api.region.emr-service-cell01Este cambio actualiza los requisitos de red para los clústeres de subredes privadas:
El grupo de seguridad de acceso al servicio (
ElasticMapReduce-ServiceAccess), adjunto al punto final de la VPC, requiere HTTPS entrante (puerto 443) desde el bloque CIDR de la VPC. 8443/9443 Las reglas de puerto utilizadas en las versiones 7.x y anteriores de Amazon EMR ya no son obligatorias.El grupo de seguridad de la instancia principal requiere el HTTPS saliente (puerto 443) al grupo de seguridad de acceso al servicio.
Las reglas de los puertos de entrada 8443 y 9443 de salida utilizadas en las versiones 7.x y anteriores de Amazon EMR ya no son obligatorias en los grupos de seguridad principales, principales y de instancias de tareas.
Si utiliza una política de puntos de conexión de VPC personalizada para Amazon S3, debe permitir el acceso a los depósitos de datos de la instancia de Amazon EMR (y).
aws157-instance-data-0-prod-regionaws157-instance-data-1-prod-region
Para obtener más información, consulte Clústeres de EMR en subredes privadas, grupos de EMR-managed seguridad de Amazon y Política mínima de Amazon S3 para subredes privadas en la Guía de administración de Amazon EMR.
Versiones Java predeterminadas de emr-spark-8.0.0
| Aplicación | Versión de Java o Amazon Corretto (el valor predeterminado está en negrita) |
|---|---|
| Spark | 17, 21 |
| Livy | 17, 11, 8 |
| Hadoop | 17, 11, 8 |
Versiones del componente emr-spark-8.0.0
A continuación, se muestran los componentes que Amazon EMR instala con esta versión. Algunos se instalan como parte de paquetes de aplicación de macrodatos. Otros son exclusivos de Amazon EMR y se instalan para ciertos procesos y características del sistema. Por lo general, comienzan con o. emr aws Big-data los paquetes de aplicaciones de la versión más reciente de Amazon EMR suelen ser la última versión que se encuentra en la comunidad. Intentamos que las versiones de la comunidad estén disponibles en Amazon EMR lo más rápido posible.
Algunos componentes de Amazon EMR son distintos de las versiones que se encuentran en la comunidad. Estos componentes tienen una etiqueta de versión con el formato CommunityVersion-amzn-EmrVersionEmrVersionmyapp-component con la versión 2.2 se ha modificado tres veces para incluirlo en diferentes versiones de lanzamiento de Amazon EMR, la versión que se mostrará será 2.2-amzn-2.
| Componente | Versión | Description (Descripción) |
|---|---|---|
| adot-java-agent | 1.31.0 | Un agente Java que recopila métricas de los daemons de las aplicaciones. |
| delta | 4.0.0-amzn-1-spark | Delta Lake es un formato de tabla abierto para conjuntos de datos analíticos de gran tamaño |
| emr-amazon-cloudwatch-agent | 1.300032.2-amzn-0 | Se trata de una aplicación que recopila métricas internas de nivel de sistema y métricas de aplicación personalizadas de las instancias de Amazon EC2. |
| emr-ddb | 6.0.0 | Conector de Amazon DynamoDB para aplicaciones del ecosistema de Hadoop. |
| emr-goodies | 3.22.0 - chispa | Bibliotecas especialmente prácticas para el ecosistema de Hadoop. |
| emr-notebook-env | 1.18.0 | Entorno de Conda para cuaderno de EMR que incluye una puerta de enlace empresarial de Jupyter |
| emr-s3-dist-cp | 2.44.0 | Aplicación de copia distribuida optimizada para Amazon S3. |
| hadoop-client | 3.4.2-amzn-1 | Los clientes de línea de comando de Hadoop como, por ejemplo "hdfs", "hadoop" o "yarn". |
| hadoop-hdfs-datanode | 3.4.2-amzn-1 | Servicio de nivel de nodos de HDFS para el almacenamiento de bloques. |
| hadoop-hdfs-library | 3.4.2-amzn-1 | Biblioteca y cliente de línea de comandos HDFS |
| hadoop-hdfs-namenode | 3.4.2-amzn-1 | Servicio de HDFS para realizar un seguimiento de nombres de archivo y bloquear ubicaciones. |
| hadoop-hdfs-zkfc | 3.4.2-amzn-1 | Servicio ZKFC para rastrear los nodos de nombres para el modo HA. |
| hadoop-hdfs-journalnode | 3.4.2-amzn-1 | Servicio de HDFS para administrar los archivos de Hadoop periódico en clústeres de alta disponibilidad. |
| hadoop-httpfs-server | 3.4.2-amzn-1 | Punto de enlace HTTP para operaciones HDFS. |
| hadoop-kms-server | 3.4.2-amzn-1 | Servidor de administración de claves criptográficas basado en la API de Hadoop. KeyProvider |
| hadoop-mapred | 3.4.2-amzn-1 | MapReduce bibliotecas de motores de ejecución para ejecutar una aplicación. MapReduce |
| hadoop-yarn-nodemanager | 3.4.2-amzn-1 | Servicio de YARN para la administración de contenedores en un nodo individual. |
| hadoop-yarn-resourcemanager | 3.4.2-amzn-1 | Servicio de YARN para la asignación y administración de recursos de clúster y aplicaciones distribuidas. |
| hadoop-yarn-timeline-server | 3.4.2-amzn-1 | Servicio para recuperar información actual e histórica para aplicaciones de YARN. |
| hudi | 1.1.0-amzn-0 | Marco de procesamiento incremental para impulsar la canalización de datos a baja latencia y alta eficiencia. |
| hudi-spark | 1.1.0-amzn-0 | Biblioteca de paquetes para ejecutar Spark con Hudi. |
| iceberg | 1.10.1-amzn-0 | Apache Iceberg es un formato de tabla abierto para conjuntos de datos analíticos muy grandes |
| livy-server | 0.8.0-incubating | Interfaz de REST para interactuar con Apache Spark |
| nginx | 1.12.1 | nginx [engine x] es un servidor HTTP y proxy inverso |
| mariadb-server | 5.5.68+ | Servidor de base de datos de MariaDB. |
| nvidia-cuda | 12.5.0 | Controladores Nvidia y conjunto de herramientas Cuda |
| r | 4.3.2 | Proyecto R para análisis estadístico |
| spark-client | 4.0.2-amzn-0 | Clientes de línea de comando de Spark. |
| spark-history-server | 4.0.2-amzn-0 | IU web para la visualización de eventos registrados durante la vida útil de una aplicación Spark completada. |
| spark-on-yarn | 4.0.2-amzn-0 | In-memory motor de ejecución para YARN. |
| spark-yarn-slave | 4.0.2-amzn-0 | Bibliotecas de Apache Spark necesarias para esclavos de YARN. |
| spark-rapids | 26.02.2-amzn-0 | Complemento Nvidia Spark RAPIDS que acelera Apache Spark con GPU. |
| zookeeper-server | 3.9.3-amzn-6 | Servicio centralizado para mantener información de configuración, nomenclatura, proporcionar sincronización distribuida y proporcionar servicios de grupo. |
| zookeeper-client | 3.9.3-amzn-6 | ZooKeeper cliente de línea de comandos. |
clasificaciones de configuración de emr-spark-8.0.0
Las clasificaciones de configuración le permiten personalizar las aplicaciones. Suelen corresponder a un archivo XML de configuración para la aplicación como, por ejemplo, hive-site.xml. Para obtener más información, consulte Configuración de aplicaciones.
Las acciones de reconfiguración se producen cuando se especifica una configuración para los grupos de instancias de un clúster en ejecución. Amazon EMR solo inicia acciones de reconfiguración para las clasificaciones que se modifican. Para obtener más información, consulte Reconfiguración de un grupo de instancias en un clúster en ejecución.
| Clasificaciones | Description (Descripción) | Acciones de reconfiguración |
|---|---|---|
capacity-scheduler | Cambiar los valores en el archivo capacity-scheduler.xml de Hadoop. | Restarts the ResourceManager service. |
container-executor | Cambie los valores en el archivo container-executor.cfg de Hadoop YARN. | Not available. |
container-log4j | Cambiar los valores en el archivo container-log4j.properties de Hadoop YARN. | Not available. |
core-site | Cambiar los valores en el archivo core-site.xml de Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. |
docker-conf | Cambie la configuración relacionada con el docker. | Not available. |
hadoop-env | Cambiar los valores en el entorno de Hadoop para todos los componentes de Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. |
hadoop-log4j | Cambiar los valores en el archivo log4j.properties de Hadoop. | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. |
hadoop-ssl-server | Cambiar la configuración del servidor ssl de Hadoop | Not available. |
hadoop-ssl-client | Cambiar la configuración del cliente ssl de Hadoop | Not available. |
hdfs-encryption-zones | Configurar zonas de cifrado de HDFS. | This classification should not be reconfigured. |
hdfs-env | Cambiar los valores en el entorno de HDFS. | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. |
hdfs-site | Cambiar los valores en hdfs-site.xml de HDFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. |
httpfs-env | Cambiar los valores en el entorno de HTTPFS. | Restarts Hadoop Httpfs service. |
httpfs-site | Cambiar los valores en el archivo httpfs-site.xml de Hadoop. | Restarts Hadoop Httpfs service. |
hadoop-kms-acls | Cambiar los valores en el archivo kms-acls.xml de Hadoop. | Not available. |
hadoop-kms-env | Cambiar los valores en el entorno de Hadoop KMS. | Restarts Hadoop-KMS service. |
hadoop-kms-java-home | Cambie la página de inicio de Java de KMS de Hadoop | Not available. |
hadoop-kms-log4j | Cambiar los valores en el archivo kms-log4j.properties de Hadoop. | Not available. |
hadoop-kms-site | Cambiar los valores en el archivo kms-site.xml de Hadoop. | Restarts Hadoop-KMS. |
hudi-env | Cambiar los valores en el entorno de Hudi. | Not available. |
hudi-defaults | Cambie los valores en el archivo hudi-defaults.conf de Hudi. | Not available. |
iceberg-defaults | Cambie los valores del archivo iceberg-defaults.conf de Iceberg. | Not available. |
delta-defaults | Cambie los valores del archivo delta-defaults.conf de Delta. | Not available. |
jupyter-notebook-conf | Cambiar los valores en el archivo jupyter_notebook_config.py de Jupyter Notebook. | Not available. |
jupyter-s3-conf | Configurar la persistencia en S3 del bloc de notas de Jupyter. | Not available. |
jupyter-sparkmagic-conf | Cambiar los valores en el archivo config.json de Sparkmagic. | Not available. |
livy-conf | Cambiar los valores en el archivo livy.conf de Livy. | Restarts Livy Server. |
livy-env | Cambiar los valores en el entorno de Livy. | Restarts Livy Server. |
livy-log4j2 | Cambiar la configuración de log4j2.properties de Livy. | Restarts Livy Server. |
mapred-env | Cambie los valores en el entorno de la aplicación. MapReduce | Restarts Hadoop MapReduce-HistoryServer. |
mapred-site | Cambie los valores en el archivo mapred-site.xml de la MapReduce aplicación. | Restarts Hadoop MapReduce-HistoryServer. |
spark | EMR-curated Configuración de Amazon para Apache Spark. | This property modifies spark-defaults. See actions there. |
spark-defaults | Cambiar los valores en el archivo spark-defaults.conf de Spark. | Restarts Spark history server and Spark thrift server. |
spark-env | Cambiar los valores en el entorno de Spark. | Restarts Spark history server and Spark thrift server. |
spark-hive-site | Cambiar los valores en el archivo hive-site.xml de Spark. | Not available. |
spark-log4j2 | Cambiar los valores en el archivo log4j2.properties de Spark. | Restarts Spark history server and Spark thrift server. |
spark-metrics | Cambiar los valores en el archivo metrics.properties de Spark. | Restarts Spark history server and Spark thrift server. |
yarn-env | Cambiar los valores en el entorno de YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. |
yarn-site | Cambiar los valores en el archivo yarn-site.xml de YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. |
zookeeper-config | Cambie los valores en ZooKeeper el archivo zoo.cfg. | Restarts Zookeeper server. |
zookeeper-logback | Cambie los valores en ZooKeeper el archivo logback.xml. | Restarts Zookeeper server. |
cloudwatch-logs | Configure la integración de CloudWatch registros para los nodos del clúster de EMR. | Not available. |
emr-metrics | Cambie la configuración de la métrica EMR para este nodo. | Restarts the CloudWatchAgent service. |
Registro de cambios de EMR Spark 8.0.0
| Date | Event | Description (Descripción) |
|---|---|---|
| 21 de mayo de 2020 | Publicación de documentos | Las notas de la versión de Amazon EMR Spark 8.0.0 (emr-spark-8.0.0) se publicaron por primera vez |
