View a markdown version of this page

Amazon EMR 7.7.0 - Note sulla versione di Hadoop - Amazon EMR
Amazon EMR 7.7.0 - Modifiche ad HadoopAmazon EMR 7.7.0 - Caratteristiche di Hadoop

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Amazon EMR 7.7.0 - Note sulla versione di Hadoop

Amazon EMR 7.7.0 - Modifiche ad Hadoop

Tipo Description

Nuova caratteristica

Ottimizza le chiamate S3A con l'elenco dei prefissi S3 GlobStatus

Backport

YARN-7327: abilita la pianificazione asincrona per impostazione predefinita per Capacity Scheduler

Backport

YARN-10058: Gestisci le eccezioni non rilevate per i thread di pianificazione asincrona per evitare blocchi dello scheduler

Backport

YARN-11732: Risolve il potenziale NPE quando si chiama #reservedContainer per SchedulerNode CapacityScheduler

Backport

YARN-11560: Risolve il bug NPE quando il multinodo era abilitato con pianificazione asincrona

Backport

YARN-11191: Risolve un potenziale deadlock in RefreshQueues GlobalScheduler

Backport

YARN-11041: Sostituisci tutte le occorrenze di QueuePath con la nuova classe QueuePath

Backport

YARN-11660: corregge la regressione delle prestazioni per SingleConstraintAppPlacementAllocator

Backport

HADOOP-19116: Aggiornamento al client zookeeper 3.8.4 dovuto a. CVE-2024-23944

Backport

HADOOP-19115: Aggiornamento a nimbus-jose-jwt 9.37.2 a causa di. CVE-2023-52428

Backport

HADOOP-19024: Usa bouncycastle jdk18 1.77

Backport

HADOOP-19123: Aggiornamento a commons-configuration2 2.10.1 grazie a CVE

Backport

HADOOP-19114: Aggiornamento a commons-compress 1.26.1 grazie a CVE

Backport

HADOOP-19237: Aggiornamento a dnsjava 3.6.1 grazie ai CVE

Nuova caratteristica

Aggiungi il controllo delle richieste S3 a S3A

Backport

HADOOP-17609: Rendi opzionale il supporto SM4 per il codice nativo OpenSSL

Backport

HADOOP-18583: hadoop checknative non riesce a caricare openssl 3.x

Nuova caratteristica

Aggiunge il supporto per le mappature dei ruoli S3A

Amazon EMR 7.7.0 - Caratteristiche di Hadoop

  • La pianificazione asincrona dei container è diventata la strategia di pianificazione predefinita per lo scheduler della capacità, progettata per ottimizzare la velocità di allocazione dei container.

  • Il filesystem S3A introduce un'ottimizzazione per le chiamate glob status utilizzando l'elenco dei prefissi S3 per accelerare le operazioni sugli elenchi. Per impostazione predefinita, questa funzionalità è disabilitata e può essere abilitata configurandola nel file core-site.xml. fs.s3a.prefix.listing.in.glob.status.enabled=true Se abilitata, l'ottimizzazione consente il filtraggio lato server per le chiamate globstatus, ad esempiofs.globstatus("s3://bucket/a*"), migliorando le prestazioni degli elenchi elencando solo gli oggetti che iniziano con. "a"

  • Aggiungi il controllo delle richieste S3 a S3A; se abilitato, le informazioni dell'SystemOwner oggetto file vengono utilizzate per popolare la stringa UserAgent con i campi utente e gruppo di utenti che effettuano le richieste S3.

  • S3A aggiunge il supporto per le mappature dei ruoli che aiuta a determinare quale ruolo IAM utilizzare in base a utenti, gruppi o prefissi S3.