View a markdown version of this page

Amazon EMR 7.5.0 - Notas de lançamento do Hadoop - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Amazon EMR 7.5.0 - Notas de lançamento do Hadoop

Amazon EMR 7.5.0 - Alterações no Hadoop

Tipo Description

Correção de bugs

fs.file.impl comentado para valor vazio.

Backport

HADOOP-19286: Support o acesso entre regiões do S3A quando o region/endpoint S3 está configurado

Melhoria

Configuração automática da região S3 para o conector S3A ativado EMR-EC2

Melhoria

Reduza o número de HeadObject chamadas no S3A

Com o lançamento do Amazon EMR 7.5, o conector S3A do Spark demonstra desempenho de leitura comparável ao EMRFS, conforme evidenciado por benchmarks usando um conjunto de dados de parquet de 3 TB. TPC-DS

Amazon EMR 7.5.0 - Recursos do Hadoop

  • A configuração da região S3 fs.s3a.endpoint.region é definida automaticamente para a região em que o cluster EMR é iniciado com o conector S3A para implantação. EMR-EC2

  • O acesso entre regiões entre buckets do Amazon S3 está habilitado por padrão para o conector S3A. Ele pode ser modificado configurando fs.s3a.cross.region.access.enabled=true or false.