View a markdown version of this page

Amazon EMR 7.6.0 - Notas de lançamento do Hive - Amazon EMR
Alterações no Hive

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Amazon EMR 7.6.0 - Notas de lançamento do Hive

Amazon EMR 7.6.0 - Alterações no Hive

Tipo Description

Melhoria

Adicionado recurso de listagem rápida de prefixos do S3 para tabelas ORC não particionadas do ACID

Recurso

Adicione suporte para Magic Committers for Hive Write Queries no sistema S3 AFile

Problemas conhecidos

  • Para consultas de inserção e sobrescrição do Hive com Amazon S3 Express One Zone como local de saída, defina a configuração do site principal: fs.s3a.directory.operations.purge.uploads para false.

Amazon EMR 7.6.0 - Novas configurações

Classificação Nome Padrão Description

hive-site

hive.exec.fast.s3.partition.discovery.enabled

true

Se a descoberta rápida de partições do S3 deve ser usada para o cálculo de divisão. Isso permitirá a listagem baseada em prefixo para formatos de arquivo compatíveis: ORC. Esse recurso usa um parâmetro da API do S3 para o qual a classe de armazenamento S3 Express One Zone não oferece suporte. Ao usá-los, desabilite esse recurso.

hive-site

hive.exec.fast.s3.partition.discovery.max.thread.threshold

128

O grau máximo de paralelismo para descoberta rápida de partições do S3.

hive-site

hive.exec.fast.s3.partition.discovery.parallelism

10

O grau de paralelismo de uma única execução da descoberta rápida de partições do S3. Essa configuração somente terá efeito se hive.exec.fast.s3.partition.discovery.enabled estiver definido como true

hive-site

hive.blobstore.output-committer.magic.track.commits.in.memory.enabled

true

Sinalizador para alternar se o Magic committer com Hive deve rastrear todos os commits pendentes na memória? O committer Magic tem a opção de armazenar os dados de confirmação na memória, o que pode acelerar a TaskCommit operação fazendo menos chamadas S3. Essa configuração substitui a configuração do Hadoop fs.s3a.committer.magic.track.commits.in.memory.enabled

hive-site

hive.blobstore.output-committer.dp.skip.task.staging.dir.creation

true

Sinalizador para alternar se o Magic Committer deve criar os caminhos de preparação dp no blobstore? Esse sinalizador é aplicável apenas ao rastrear commits na memória quando o Hive usa o Magic Committer via hive.blobstore.output-committer.magic.track.commits.in.memory.enabled. É definido como “true” por padrão, mas só entra em vigor se hive.blobstore.output-committer.magic.track.commits.in.memory.enabled estiver habilitado e poupa chamadas do S3 adicionais de tentativas de criação de caminhos de tarefas no blobstore.

hive-site

hive.blobstore.output-committer.magic.disable.fs.cache.for.llap

true

Sinalizador para alternar se os caches do blobstore FS devem ser desabilitados nos fluxos de gravação para LLAP ao usar o Magic Committer. Esse sinalizador entra em ação quando o LLAP está habilitado e, por padrão, é definido como “true”.