View a markdown version of this page

Amazon EMR 6.7.0: notas de la versión de Hive - Amazon EMR
Cambios en HiveProblemas conocidos

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Amazon EMR 6.7.0: notas de la versión de Hive

Amazon EMR 6.7.0: cambios en Hive

Tipo Description (Descripción)
Característica Integración de Amazon EMR Hive con. LakeFormation
Característica Registro de auditoría adicional para el confirmador Hive EMRFS optimizado para Amazon S3. Configuración de Hive: hive.blobstore.output-committer.logging, valor predeterminado: false
Característica El directorio de destino eliminado al insertarlo y sobrescribirlo con el resultado de selección vacío se convierte en una table/static partición sin particiones para que se comporte de forma similar a Hive 2.x. Configuración de Hive: hive.emr.iow.clean.target.dir, valor predeterminado: false
Error Se corrigió un error de consulta intermitente al utilizar el confirmador de Hive EMRFS optimizado para Amazon S3 con clasificación de buckets de particiones.
Upgrade Versión de Hive actualizada a la versión 3.1.3. Consulte las notas de la versión 3.1.3 de Apache Hive para obtener más información.
Upgrade Se actualizó Parquet a la versión 1.12.2.
Portabilidad con versiones anteriores HIVE-20065: el metaalmacén no debería confiar en Jackson 1.x
Portabilidad con versiones anteriores HIVE-20071: se migra a Jackson 2.x y se evita su uso
Portabilidad con versiones anteriores HIVE-20607: debería usarse para ejecutar consultas SQL directas TxnHandler PreparedStatement
Portabilidad con versiones anteriores HIVE-20740: Elimina el bloqueo global en el método .setConf ObjectStore
Portabilidad con versiones anteriores HIVE-20961: retirar la implementación de NVL
Portabilidad con versiones anteriores HIVE-22059: el jar hive-exec no contiene la biblioteca jackson (fasterxml)
Portabilidad con versiones anteriores HIVE-22351: Se corrige el uso incorrecto de subprocesos en ObjectStore TestObjectStore
Portabilidad con versiones anteriores HIVE-23534: NPE en #invoke cuando se captura sin mensaje RetryingMetaStoreClient MetaException
Portabilidad con versiones anteriores HIVE-24048: armonización de los componentes de Jackson a la última versión 2.10 de Hive
Portabilidad con versiones anteriores HIVE-24768: uso de jackson-bom en todas partes para reemplazar la versión
Portabilidad con versiones anteriores HIVE-24816: actualización de Jackson a la versión 2.10.5.1 o 2.11.0+ gracias a la versión CVE-2020-25649
Portabilidad con versiones anteriores HIVE-25971: el cierre de la tarea de Tez se retrasa debido a que el grupo de subprocesos en caché no está cerrado
Portabilidad con versiones anteriores HIVE-26036: NPE causada por get () in MTable ObjectStore

Amazon EMR 6.7.0: problemas conocidos de Hive

  • Las consultas con funciones de ventana en la misma columna que la de unión pueden provocar transformaciones no válidas, como se indica en HIVE-25278, y provocar resultados incorrectos o errores en las consultas. Una solución alternativa sería deshabilitar la CBO en el nivel de consulta para este tipo de consultas. La corrección estará disponible en una versión de Amazon EMR posterior a la 6.7.0. Para obtener más información, ponte en contacto con el servicio de asistencia. AWS

  • Con las versiones 6.6.0 a 6.9.x de Amazon EMR, las consultas INSERT con partición dinámica y una cláusula ORDER BY o SORT BY siempre tendrán dos reductores. Este problema se debe al cambio HIVE-20703 de OSS, que sitúa la optimización de la clasificación dinámica de las particiones en una decisión basada en los costos. Si su carga de trabajo no requiere ordenar las particiones dinámicas, le recomendamos que establezca la propiedad hive.optimize.sort.dynamic.partition.threshold en -1 para deshabilitar la nueva característica y obtener el número de reductores calculado correctamente. Este problema se ha corregido en OSS Hive como parte de HIVE-22269 y se ha corregido en Amazon EMR 6.10.0.