View a markdown version of this page

Amazon EMR 7.7.0 — Notas de lançamento do Hadoop - Amazon EMR
Amazon EMR 7.7.0 - Alterações no HadoopAmazon EMR 7.7.0 - Recursos do Hadoop

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Amazon EMR 7.7.0 — Notas de lançamento do Hadoop

Amazon EMR 7.7.0 - Alterações no Hadoop

Tipo Description

Novo recurso

Otimize a GlobStatus chamada S3A com a lista de prefixos do S3

Backport

YARN-7327: Habilite o agendamento assíncrono por padrão para o agendador de capacidade

Backport

YARN-10058: manipule exceções não detectadas para threads de agendamento assíncrono para evitar interrupções no agendador

Backport

YARN-11732: Corrija o potencial NPE ao chamar SchedulerNode #reservedContainer para CapacityScheduler

Backport

YARN-11560: Corrige o bug do NPE quando vários nós estão habilitados com agendamento assíncrono

Backport

YARN-11191: Corrija um possível impasse em RefreshQueues GlobalScheduler

Backport

YARN-11041: substitua todas as ocorrências de QueuePath pela nova classe QueuePath

Backport

YARN-11660: Corrige a regressão de desempenho para SingleConstraintAppPlacementAllocator

Backport

HADOOP-19116: Atualização para o cliente zookeeper 3.8.4 devido a. CVE-2024-23944

Backport

HADOOP-19115: Atualize para nimbus-jose-jwt 9.37.2 devido a. CVE-2023-52428

Backport

HADOOP-19024: Use bouncycastle jdk18 1.77

Backport

HADOOP-19123: Atualização para commons-configuration2 2.10.1 devido ao CVE

Backport

HADOOP-19114: Atualize para commons-compress 1.26.1 devido aos CVEs

Backport

HADOOP-19237: Atualize para o dnsjava 3.6.1 devido aos CVEs

Novo recurso

Adicionar auditoria de solicitações do S3 ao S3A

Backport

HADOOP-17609: Torne o suporte SM4 opcional para código nativo do OpenSSL

Backport

HADOOP-18583: o hadoop checknative falha ao carregar o openssl 3.x

Novo recurso

Adicionar suporte para mapeamentos de perfis do S3A

Amazon EMR 7.7.0 - Recursos do Hadoop

  • O agendamento assíncrono de contêineres se tornou a estratégia de agendamento padrão para o agendador de capacidade, projetada para otimizar a velocidade de alocação de contêineres.

  • O sistema de arquivos S3A introduz uma otimização para chamadas de status global usando a listagem de prefixos do S3 para acelerar operações de lista. Por padrão, esse recurso está desabilitado e pode ser habilitado configurando fs.s3a.prefix.listing.in.glob.status.enabled=true no arquivo core-site.xml. Quando habilitada, a otimização permite a filtragem no lado do servidor para chamadas globstatus como fs.globstatus("s3://bucket/a*"), melhorando a performance da lista ao listar apenas os objetos que começam com "a".

  • Adicione a auditoria de solicitações do S3 ao S3A. Quando ativada, as informações do SystemOwner objeto de arquivo são usadas para preencher a string userAgent com os campos do usuário e do grupo de usuários que fazem as solicitações do S3.

  • O S3A adiciona suporte para mapeamentos de pefis, o que ajuda a determinar qual perfil do IAM usar com base em usuários, grupos ou prefixos do S3.