View a markdown version of this page

Amazon EMR 7.7.0 - Notes de mise à jour de Hadoop - Amazon EMR
Amazon EMR 7.7.0 - Modifications apportées à HadoopAmazon EMR 7.7.0 - Fonctionnalités de Hadoop

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Amazon EMR 7.7.0 - Notes de mise à jour de Hadoop

Amazon EMR 7.7.0 - Modifications apportées à Hadoop

Type Description

Nouvelle fonction

Optimisez l' GlobStatus appel S3A avec la liste des préfixes S3

Rétroportage

YARN-7327: active la planification asynchrone par défaut pour le planificateur de capacité

Rétroportage

YARN-10058: gérez les exceptions non détectées pour les threads de planification asynchrone afin d'éviter le blocage du planificateur

Rétroportage

YARN-11732: Corrigez un NPE potentiel lorsque vous appelez SchedulerNode #reservedContainer pour CapacityScheduler

Rétroportage

YARN-11560: correction du bogue NPE lorsque le multi-nœuds est activé avec planification asynchrone

Rétroportage

YARN-11191: correction d'un blocage potentiel dans RefreshQueues GlobalScheduler

Rétroportage

YARN-11041: remplacez toutes les occurrences de QueuePath par la nouvelle classe QueuePath

Rétroportage

YARN-11660: Corrige la régression des performances pour SingleConstraintAppPlacementAllocator

Rétroportage

HADOOP-19116: Mise à jour du client zookeeper 3.8.4 en raison de. CVE-2024-23944

Rétroportage

HADOOP-19115: Mise à niveau vers nimbus-jose-jwt 9.37.2 en raison de. CVE-2023-52428

Rétroportage

HADOOP-19024: Utilisez bouncycastle jdk18 1.77

Rétroportage

HADOOP-19123: Mise à jour vers commons-configuration2 2.10.1 en raison de CVE

Rétroportage

HADOOP-19114: Mise à niveau vers commons-compress 1.26.1 en raison des CVE

Rétroportage

HADOOP-19237: Mise à niveau vers dnsjava 3.6.1 à cause des CVE

Nouvelle fonction

Ajouter l'audit des demandes S3 à S3A

Rétroportage

HADOOP-17609: Rendre le support SM4 facultatif pour le code natif d'OpenSSL

Rétroportage

HADOOP-18583: hadoop checknative ne parvient pas à charger openssl 3.x

Nouvelle fonction

Ajout de la prise en charge des mappages de rôles S3A

Amazon EMR 7.7.0 - Fonctionnalités de Hadoop

  • La planification asynchrone des conteneurs est la stratégie de planification par défaut du planificateur de capacité, conçue pour optimiser la vitesse d'allocation des conteneurs.

  • Le système de fichiers S3A introduit une optimisation pour les appels d'état globaux en utilisant la liste des préfixes S3 pour accélérer les opérations de liste. Par défaut, cette fonctionnalité est désactivée et peut être activée fs.s3a.prefix.listing.in.glob.status.enabled=true en configurant dans le fichier core-site.xml. Lorsqu'elle est activée, l'optimisation permet le filtrage côté serveur pour les appels globstatusfs.globstatus("s3://bucket/a*"), par exemple en améliorant les performances des listes en répertoriant uniquement les objets commençant par. "a"

  • Ajoutez l'audit des demandes S3 à S3A. Lorsque cette option est activée, les informations de SystemOwner l'objet du fichier sont utilisées pour renseigner la chaîne UserAgent avec les champs utilisateur et groupe d'utilisateurs effectuant les demandes S3.

  • S3A ajoute la prise en charge des mappages de rôles, ce qui permet de déterminer le rôle IAM à utiliser en fonction des utilisateurs, des groupes ou des préfixes S3.