View a markdown version of this page

Amazon EMR 7.2.0 - Note sulla versione di Tez - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Amazon EMR 7.2.0 - Note sulla versione di Tez

Amazon EMR 7.2.0 - Modifiche apportate

Tipo Description
Miglioramenti Opzione fornita per disabilitare i vincoli di località quando si richiedono contenitori per le attività.
Correzioni di bug Rendi sicuro il thread # TaskDependencies addTaskDependency
Upgrade Aggiorna la versione TLS alla 1.3 per Tez.

Amazon EMR 7.2.0 - Nuove configurazioni

Classificazione Nome Predefinito Description

tez-site

tez.task.relaxed.locality

false

Se abilitati, i vincoli di localizzazione del rack e del nodo non vengono presi in considerazione durante la richiesta di un contenitore per un'attività.

Amazon EMR 7.2.0 - Problemi noti

Problema di pulizia del DAG di Tez (EMR 6.11.0 - EMR 7.2.0): nei cluster con SSL abilitato che eseguono le versioni EMR da 6.11.0 a 7.2.0, esiste un problema noto a causa del quale si verifica un'eccezione in TEZ Application Master (AM) durante la fase di pulizia del DAG. SSLHandshake Ciò si verifica quando si tenta di eliminare i dati shuffle intermedi dai nodi remoti tramite HTTPS dopo il completamento della query, non durante l'esecuzione della query. Il problema si verifica perché Tez AM non è in grado di leggere la configurazione TrustStore pertinente quando chiama l'endpoint del servizio shuffle handler. Tuttavia, ciò riguarda solo la pulizia dei dati shuffle durante la pulizia del DAG, la pulizia a livello di applicazione (AM) avviene comunque e pulisce tutti i dati shuffle persistenti. Quindi questo non porta all'accumulo casuale dei dati.

Versione corretta: — EMR 7.3.0

Soluzione alternativa: aggiungere la seguente configurazione SSL a tez-site.xml:

<property> <name>ssl.client.truststore.location</name> <value>{SSL_TRUSTSTORE_LOCATION}</value> </property>