View a markdown version of this page

Amazon EMR 7.4.0 — Notas de lançamento do Hadoop - Amazon EMR
Amazon EMR 7.4.0 - Alterações no HadoopAmazon EMR 7.4.0 - Recursos do Hadoop

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Amazon EMR 7.4.0 — Notas de lançamento do Hadoop

Amazon EMR 7.4.0 - Alterações no Hadoop

Tipo Description

Upgrade

A versão do Hadoop foi atualizada para 3.4.0, consulte as notas de lançamento do OSS.

Correção de bugs

Corrija métricas negativas do Yarn pendentes e alocadas para FairScheduler

Correção de bugs

YARN-11702 : Fixe o Yarn sobre a alocação de contêineres

Correção de bugs

Melhorar o tratamento das condições de corrida ao reduzir a escala dos nós

Melhoria

HADOOP-18679 : Adicionar API para bulk/paged exclusão de arquivos

Melhoria

HADOOP-19203: BulkDelete API WrappEdio para gerar IOs como UncheckEdIOExceptions

Melhoria

HADOOP-19205: S3A: initialization/close mais lento do que com o SDK v1

Melhoria

HADOOP-19161: S3A: opção fs.s3a.performance.flags para obter uma lista de sinalizadores de desempenho

Melhoria

HADOOP-19072: S3A: expanda as otimizações nas lojas com fs.s3a.performance.flags para mkdir

Amazon EMR 7.4.0 - Recursos do Hadoop

Consulte a lista a seguir para ver os novos recursos do Hadoop no Amazon EMR 7.4.0.

  • Os valores de configuração padrão foram ajustados para uma performance ideal:

    • mapreduce.input.fileinputformat.list-status.num-threads=10 – Isso representa um aumento em relação a 1.

    • fs.s3a.block.size=64M – Isso representa um aumento em relação aos 32 milhões anteriores.

    • fs.s3a.multipart.size=128M – Isso representa um aumento em relação aos 64 milhões anteriores.

  • Out-of-the-box otimizações de aprimoramento de desempenho para acelerar MapReduce trabalhos com o sistema de arquivos S3A.