Amazon EMR 7.4.0: notas de la versión de Hadoop

Amazon EMR 7.4.0: cambios en Hadoop

Tipo	Description (Descripción)
Upgrade	Hadoop se actualizó a la versión 3.4.0; consulte las notas de lanzamiento de OSS.
Corrección de errores	Se corrigieron las métricas negativas de Yarn pendientes y asignadas para FairScheduler
Corrección de errores	YARN-11702 : Se corrigió el error de Yarn por encima de la asignación
Corrección de errores	Mejora del manejo de las condiciones de carrera mediante la reducción del tamaño de los nodos
Mejora	HADOOP-18679 : Agregue una API para bulk/paged eliminar archivos
Mejora	HADOOP-19203: BulkDelete API WrapedIO para generar IOEs como UncheckedIOExceptions
Mejora	HADOOP-19205: S3A: más lento que con el SDK de la versión 1 initialization/close
Mejora	HADOOP-19161: S3A: opción fs.s3a.performance.flags para incluir una lista de indicadores de rendimiento
Mejora	HADOOP-19072: S3A: amplía las optimizaciones de las tiendas con fs.s3a.performance.flags para mkdir

Consulte la siguiente lista para ver las nuevas funciones de Hadoop en Amazon EMR 7.4.0.

Se refinaron los valores de configuración predeterminados para obtener un rendimiento óptimo:
- mapreduce.input.fileinputformat.list-status.num-threads=10: esto representa un aumento con respecto a 1.
- fs.s3a.block.size=64M: esto representa un aumento con respecto a 32M.
- fs.s3a.multipart.size=128M: esto representa un aumento con respecto a 64M.
Out-of-the-box optimizaciones que mejoran el rendimiento para acelerar los MapReduce trabajos con el sistema de archivos S3A.

Aviso JavaScript está desactivado o no está disponible en su navegador.

Para utilizar la documentación de AWS, debe estar habilitado JavaScript. Para obtener más información, consulte las páginas de ayuda de su navegador.

Amazon EMR 7.5.0: notas de la versión de Hadoop

Amazon EMR 7.3.0: notas de la versión de Hadoop