Amazon EMR 7.4.0 — Notas de lançamento do Hive

Upgrade

HIVE-28191: Faça upgrade da versão do Hadoop para 3.4.0

Upgrade

Faça upgrade do hadoop shaded protobuf para 3.21

Upgrade

Faça upgrade de commons-cli para 1.5.0

Upgrade

Faça upgrade de commons-compress para 1.24.0

Upgrade

Faça upgrade de commons-io para 2.14.0

Upgrade

Faça upgrade commons-lang3 para 3.21.0

Melhoria

Altere o tempo máximo de espera para a abertura da sessão do Tez ao tentar usar a sessão existente na HiveCLI para 10 segundos.

Melhoria

Habilite o mecanismo de curto-circuito no Tez DAG para consultas simples de seleção com LIMIT

Melhoria

HIVE-21100: permitir nivelamento de subdiretórios da tabela resultante do uso do mecanismo TEZ e da cláusula UNION

Correção de bugs

O comando HIVE-25095: Beeline/hive -e não consegue lidar com a consulta com aspas finais

Correção de bugs

HIVE-13781: O Tez Job falhou quando o diretório de partição não existe FileNotFoundException

Correção de bugs

HIVE-28480: desabilite o SMB na incompatibilidade do gerador de hash de partição entre branches de junção no RS anterior

hive-site

hive.ignore.failure.partition.dir.not.found

false

Ignora a falha quando a partição da tabela existe, mas o caminho real de armazenamento de objeto não existe.

hive-site

hive.tez.union.flatten.subdirectories

false

Ao gravar dados em uma tabela e UNION ALL é a última etapa da consulta, o Hive no Tez cria um subdiretório para cada branch de UNION ALL. Quando essa propriedade está habilitada, os subdiretórios são removidos e os arquivos são renomeados e movidos para o diretório pai. Isso não tem efeito quando hive.blobstore.use.output-committer está habilitado.