View a markdown version of this page

Amazon EMR 6.8.0: notas de la versión de Hive - Amazon EMR

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Amazon EMR 6.8.0: notas de la versión de Hive

Amazon EMR 6.8.0: cambios en Hive

Tipo Description (Descripción)
Mejoras Reducción de las llamadas al sistema de archivos en el comando msck. Mejoras en el rendimiento (entre 15 y 20 veces en más de 10 000 particiones)
Portabilidad con versiones anteriores HIVE-20678: Hive debe implementarse para garantizar la compatibilidad HBase TableOutputFormat HiveOutputFormat
Portabilidad con versiones anteriores HIVE-21040: msck incluye archivos innecesarios en el último nivel del árbol de directorios
Portabilidad con versiones anteriores HIVE-21460: al cargar los datos seguidos de una consulta de selección *, se obtienen resultados incorrectos
Portabilidad con versiones anteriores HIVE-21660: se obtiene un resultado incorrecto cuando se utiliza la vista de unión total y posterior con explode
Portabilidad con versiones anteriores HIVE-22505: se debe a una selección incorrecta de un operador vectorizado ClassCastException
Portabilidad con versiones anteriores HIVE-22513: la propagación constante de la columna proyectada en las operaciones de filtrado puede provocar resultados incorrectos
Portabilidad con versiones anteriores HIVE-23435: faltan filas en el resultado de la unión exterior completa
Portabilidad con versiones anteriores HIVE-24209: conversión incorrecta de los argumentos de búsqueda para la operación NOT BETWEEN cuando la vectorización está habilitada
Portabilidad con versiones anteriores HIVE-24934: la anotación no es necesaria en Generic Check VectorizedExpressions UDFSQCount
Portabilidad con versiones anteriores HIVE-25278: HiveProjectJoinTransposeRule puede realizar transformaciones no válidas con expresiones en ventanas
Portabilidad con versiones anteriores HIVE-25505: resultados incorrectos con el encabezado. skip.header.line.count si la primera línea está en blanco
Portabilidad con versiones anteriores HIVE-26080: actualización de accumulo-core a 1.10.1
Portabilidad con versiones anteriores HIVE-26235: condición OR de la columna binaria devuelve un resultado vacío
Bug Corrija varios registros de advertencia de enlaces SLF4 J en stderr durante el lanzamiento
Bug Se ha corregido un error en la consulta SHOW TABLE EXTENDED que provocaba un error de FS incorrecto cuando la partición y la tabla se encontraban en sistemas de archivos diferentes.

Amazon EMR 6.8.0: problemas conocidos de Hive

  • Con las versiones 6.6.0 a 6.9.x de Amazon EMR, las consultas INSERT con partición dinámica y una cláusula ORDER BY o SORT BY siempre tendrán dos reductores. Este problema se debe al cambio HIVE-20703 de OSS, que sitúa la optimización de la clasificación dinámica de las particiones en una decisión basada en los costos. Si su carga de trabajo no requiere ordenar las particiones dinámicas, le recomendamos que establezca la propiedad hive.optimize.sort.dynamic.partition.threshold en -1 para deshabilitar la nueva característica y obtener el número de reductores calculado correctamente. Este problema se ha corregido en OSS Hive como parte de HIVE-22269 y se ha corregido en Amazon EMR 6.10.0.