View a markdown version of this page

Amazon EMR 7.5.0 - Notes de mise à jour de Hadoop - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Amazon EMR 7.5.0 - Notes de mise à jour de Hadoop

Amazon EMR 7.5.0 - Modifications apportées à Hadoop

Type Description

Correctif de bogue.

A commenté fs.file.impl à une valeur vide.

Rétroportage

HADOOP-19286: Supporte l'accès interrégional S3A lorsque S3 region/endpoint est défini

Amélioration

Paramètre de configuration automatique de la région S3 pour le connecteur S3A activé EMR-EC2

Amélioration

Réduisez le nombre d' HeadObject appels en S3A

Avec la sortie d'Amazon EMR 7.5, le connecteur S3A de Spark affiche des performances de lecture comparables à celles de l'EMRFS, comme en témoignent les tests réalisés à l'aide d'un ensemble de données parquet de 3 To. TPC-DS

Amazon EMR 7.5.0 - Fonctionnalités de Hadoop

  • fs.s3a.endpoint.regionLa configuration de la région S3 est automatiquement définie sur la région dans laquelle le cluster EMR est lancé avec le connecteur S3A pour EMR-EC2 le déploiement.

  • L'accès aux régions entre compartiments Amazon S3 est activé par défaut pour le connecteur S3A. Il peut être modifié en réglantfs.s3a.cross.region.access.enabled=true or false.