View a markdown version of this page

Amazon EMR 7.7.0: notas de la versión de Hadoop - Amazon EMR
Amazon EMR 7.7.0: cambios en HadoopAmazon EMR 7.7.0: Características de Hadoop

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Amazon EMR 7.7.0: notas de la versión de Hadoop

Amazon EMR 7.7.0: cambios en Hadoop

Tipo Description (Descripción)

Nueva característica

Optimice las llamadas de S3A con la lista de prefijos GlobStatus de S3

Portabilidad con versiones anteriores

YARN-7327: Habilite la programación asíncrona de forma predeterminada para el programador de capacidad

Portabilidad con versiones anteriores

YARN-10058: Gestione la excepción no detectada en los subprocesos de programación asíncrona para evitar que el programador se bloquee

Portabilidad con versiones anteriores

YARN-11732: Corrige un posible NPE al llamar a #reservedContainer para SchedulerNode CapacityScheduler

Portabilidad con versiones anteriores

YARN-11560: Se corrigió el error de NPE cuando se activaban varios nodos con una programación asíncrona

Portabilidad con versiones anteriores

YARN-11191: Corrige un posible punto muerto en RefreshQueues GlobalScheduler

Portabilidad con versiones anteriores

YARN-11041: Reemplace todas las apariciones de QueuePath con la nueva clase QueuePath

Portabilidad con versiones anteriores

YARN-11660: Corrige la regresión del rendimiento para SingleConstraintAppPlacementAllocator

Portabilidad con versiones anteriores

HADOOP-19116: Se actualizó al cliente zookeeper 3.8.4 debido a. CVE-2024-23944

Portabilidad con versiones anteriores

HADOOP-19115: Se actualizó a nimbus-jose-jwt 9.37.2 debido a. CVE-2023-52428

Portabilidad con versiones anteriores

HADOOP-19024: Usa bouncycastle jdk18 1.77

Portabilidad con versiones anteriores

HADOOP-19123: Se actualizó a commons-configuration2 2.10.1 debido al CVE

Portabilidad con versiones anteriores

HADOOP-19114: Se actualizó a commons-compress 1.26.1 debido a los CVE

Portabilidad con versiones anteriores

HADOOP-19237: Actualización a dnsjava 3.6.1 debido a los CVE

Nueva característica

Incorporación de auditoría de solicitudes de S3 a S3A

Portabilidad con versiones anteriores

HADOOP-17609: Haga que la compatibilidad con SM4 sea opcional para el código nativo de OpenSSL

Portabilidad con versiones anteriores

HADOOP-18583: hadoop checknative no puede cargar openssl 3.x

Nueva característica

Incorporación de compatibilidad para las asignaciones de roles de S3A

Amazon EMR 7.7.0: Características de Hadoop

  • La planificación asíncrona de contenedores se convierte en la estrategia de programación predeterminada del planificador de capacidad, diseñada para optimizar la velocidad de asignación de contenedores.

  • El sistema de archivos de S3A introduce una optimización para las llamadas de glob status mediante la lista de prefijos de S3 para acelerar las operaciones de la lista. Esta característica se encuentra deshabilitada de forma predeterminada y se puede habilitar mediante la configuración de fs.s3a.prefix.listing.in.glob.status.enabled=true en el archivo core-site.xml. Cuando se habilita, la optimización permite al servidor filtrar las llamadas a globstatus como fs.globstatus("s3://bucket/a*"), lo que mejora el rendimiento de la lista, ya que enumera solo los objetos a partir de "a".

  • Agregue la auditoría de solicitudes de S3 a S3A. Cuando esté habilitada, la información del SystemOwner objeto de archivo se utilizará para rellenar la cadena UserAgent con los campos de usuario y grupo de usuarios que realizan las solicitudes de S3.

  • S3A proporciona compatibilidad con las asignaciones de funciones, lo que ayuda a determinar qué rol de IAM utilizar en función de los usuarios, los grupos o los prefijos de S3.