View a markdown version of this page

Amazon EMR 6.9.0 - Notas da versão do Hive - Amazon EMR
Alterações no Hive Problemas conhecidos

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Amazon EMR 6.9.0 - Notas da versão do Hive

Amazon EMR 6.9.0 - Alterações no Hive

Tipo Description
Upgrade Atualizar o Jetty para 9.4.48.v20220622
Upgrade Suporte para Hadoop 3.3.3
Recurso Integração do Hive no Amazon EMR com o Lake Formation para workloads interativas usando a API do GCSC.
Recurso Integração do Hive no Amazon EMR com o Iceberg.
Melhoria Ative o SSL em HiveServer 2 quando a criptografia em trânsito estiver habilitada usando as configurações de segurança do Amazon EMR.
Melhoria Habilite o confirmador otimizado para EMRFS Amazon S3 do Hive por padrão. Para obter mais informações, consulte Habilitar o confirmador otimizado para EMRFS S3 do Hive.
Melhoria Adicione HiveHBaseTableInputFormatV2 que herda apenas a versão mapeada do InputFormat para corrigir o SPARK-34210. Defina hive.hbase.inputformat.v2 como true para usá-lo.
Melhoria Espere que o TeZam seja iniciado em segundo plano com hive.cli.tez.session.async em vez de encerrá-lo e iniciar um novo imediatamente. Use hive.emr.cli.tez.session.open.timeout para definir esse tempo limite em segundos.
Melhoria Adicione a opção hive.conf.restricted.list.append para anexar configurações separadas por vírgula à lista de configurações restritas existente. hive.conf.restricted.list
Melhoria Mensagem de erro mais clara quando a consulta do Hive apresenta falha porque o local não está definido para o banco de dados.
Backport HIVE-24484: atualizar o Hadoop para 3.3.1 e o Tez para 0.10.2
Backport HIVE-22398: Remova o gerenciamento de filas do YARN via. ShimLoader
Backport HIVE-23190: LLAP: modifique IndexCache para passar o objeto do sistema de arquivos para o. TezSpillRecord
Backport HIVE-22185: O HADOOP-15832 causará problemas com testes usando clusters. MiniYarn
Backport HIVE-21670: substituir mockito-all pela dependência mockito-core.
Backport HIVE-24542: preparar o Guava para atualizações.
Backport HIVE-23751: QTest: Substitua o #mkdirs() método para alinhar após o HADOOP-16582. ProxyFileSystem
Backport HIVE-21603: preparação do Java 11: atualizar a versão powermock.
Backport HIVE-24083: erro hcatalog no Hadoop 3.3.0: tipo de autenticação necessário.
Backport HIVE-24282: mostrar colunas não deve classificar as colunas de saída, a menos que seja explicitamente mencionado.
Backport HIVE-20656: padrões sensatos: as configurações de memória de agregação de mapas são muito agressivas.
Backport HIVE-25443: A seta SerDe não pode tipos de dados serialize/deserialize complexos quando há mais de 1024 valores
Backport HIVE-19792: atualizar o orc para 1.5.2 e habilitar os testes de evolução do esquema decimal_64.
Backport HIVE-20437: manipular a evolução do esquema com base em flutuação, duplo e decimal.
Backport HIVE-21987: o Hive não consegue ler o Parquet int32 anotado com decimal.
Backport HIVE-20038: atualizar consultas em tabelas sem buckets e particionadas gera NPE.

Amazon EMR 6.9.0 - Problemas conhecidos do Hive

  • Com o Amazon EMR 6.6.0 a 6.9.x, as consultas INSERT com partição dinâmica e uma cláusula ORDER BY ou SORT BY sempre terá dois redutores. Esse problema é causado pela alteração do OSS HIVE-20703, que coloca a otimização da partição dinâmica de classificação sob uma decisão baseada em custos. Se sua workload não exigir a classificação de partições dinâmicas, recomendamos que você defina a propriedade hive.optimize.sort.dynamic.partition.threshold como -1 para desabilitar o novo atributo e obter o número de redutores calculado corretamente. Esse problema foi corrigido no OSS Hive como parte do HIVE-22269 e foi corrigido no Amazon EMR 6.10.0.