View a markdown version of this page

Amazon EMR 7.4.0 - Notes de mise à jour de Hadoop - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Amazon EMR 7.4.0 - Notes de mise à jour de Hadoop

Amazon EMR 7.4.0 - Modifications apportées à Hadoop

Type Description

Upgrade

La version Hadoop est mise à niveau vers la version 3.4.0, reportez-vous aux notes de version d'OSS.

Correctif de bogue.

Corriger les métriques négatives en attente et en fil alloué pour FairScheduler

Correctif de bogue.

YARN-11702 : Corrigez Yarn sur l'allocation des conteneurs

Correctif de bogue.

Améliorez la gestion des conditions de course lors de la réduction de la taille des nœuds

Amélioration

HADOOP-18679 : Ajouter une API pour bulk/paged supprimer des fichiers

Amélioration

HADOOP-19203: BulkDelete API WrappeDio pour générer des iOS en tant que UncheckEDIOExceptions

Amélioration

HADOOP-19205: S3A : initialization/close plus lent qu'avec le SDK v1

Amélioration

HADOOP-19161: S3A : option fs.s3a.performance.flags pour prendre la liste des indicateurs de performance

Amélioration

HADOOP-19072: S3A : étendre les optimisations sur les boutiques avec fs.s3a.performance.flags pour mkdir

Amazon EMR 7.4.0 - Fonctionnalités de Hadoop

Consultez la liste suivante pour connaître les nouvelles fonctionnalités Hadoop d'Amazon EMR 7.4.0.

  • Les valeurs de configuration par défaut ont été affinées pour des performances optimales :

    • mapreduce.input.fileinputformat.list-status.num-threads=10 — Ce chiffre est en hausse par rapport à 1.

    • FS.S3A.Block.Size=64M — Cela représente une hausse par rapport à 32M.

    • FS.S3A.Multipart.Size=128M — Cela représente une augmentation par rapport à 64M.

  • Out-of-the-box optimisations améliorant les performances pour accélérer les MapReduce tâches avec le système de fichiers S3A.