View a markdown version of this page

Amazon EMR 7.2.0 - Notes de mise à jour de Hadoop - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Amazon EMR 7.2.0 - Notes de mise à jour de Hadoop

Amazon EMR 7.2.0 - Modifications apportées à Hadoop

Type Description

Nouvelle fonction

HADOOP-18850: S3A : activer le chiffrement double couche côté serveur à l'aide de clés AWS KMS

Nouvelle fonction

Support S3 Glacier pour lire les objets restaurés

Amélioration

Dimensionnement dynamique du nombre maximal de connexions S3A en fonction des cœurs lors de l'exécution de Spark Jobs

Amélioration

HADOOP-18797: Support des écritures simultanées avec S3A Magic Committer

Amélioration

HADOOP-19047: Support et InMemory suivi des S3A Magic Commits

Amélioration

Ajouter les méthodes « Export », « Publish » et « » AbortPublish dans MagicV2 Committer

Amélioration

Implémenter ReadFullyIntoBuffers FileSystem l'API dans S3A

Correctif de bogue.

HADOOP-18793: S3A StagingCommitter ne nettoie pas le répertoire de staging-uploads

Upgrade

HADOOP-19008: S3A : mise à jour de la version aws-sdk vers la version 2.21.41

Upgrade

HADOOP-18613: Mise à niveau ZooKeeper vers la version 3.8.3

Amazon EMR 7.2.0 - Fonctionnalités de Hadoop

Consultez la liste suivante pour découvrir les nouvelles fonctionnalités Hadoop dans Amazon EMR 7.2.0.

  • Support de S3 Glacier pour lire les objets restaurés : avec Amazon EMR version 7.2.0 et ultérieure, vous pouvez lire les objets Glacier restaurés depuis l'emplacement S3 de la table contenant le protocole. S3A Cette opération de lecture ignore les fichiers Glacier archivés s'ils sont toujours en cours de restauration.

  • Support des écritures simultanées avec le commutateur magique S3A — Amazon EMR 7.2.0 introduit la prise en charge des écritures simultanées avec le validateur magique S3A. Cette fonctionnalité a été ajoutée à la communauté OSS Hadoop dans le cadre de. HADOOP-18797