Amazon EMR 7.1.0 - Note sulla versione di Tez

Problema di pulizia del DAG di Tez (EMR 6.11.0 - EMR 7.2.0): nei cluster con SSL abilitato che eseguono le versioni EMR da 6.11.0 a 7.2.0, esiste un problema noto a causa del quale si verifica un'eccezione in TEZ Application Master (AM) durante la fase di pulizia del DAG. SSLHandshake Ciò si verifica quando si tenta di eliminare i dati shuffle intermedi dai nodi remoti tramite HTTPS dopo il completamento della query, non durante l'esecuzione della query. Il problema si verifica perché Tez AM non è in grado di leggere la configurazione TrustStore pertinente quando chiama l'endpoint del servizio shuffle handler. Tuttavia, ciò riguarda solo la pulizia dei dati shuffle durante la pulizia del DAG, la pulizia a livello di applicazione (AM) avviene comunque e pulisce tutti i dati shuffle persistenti. Quindi questo non porta all'accumulo casuale dei dati.

Versione corretta: — EMR 7.3.0

Soluzione alternativa: aggiungere la seguente configurazione SSL a tez-site.xml:

<property>
    <name>ssl.client.truststore.location</name>
    <value>{SSL_TRUSTSTORE_LOCATION}</value>
</property>

Processi Pig in esecuzione su Tez: nei cluster con SSL abilitato che eseguono le versioni EMR da 6.9.0 a 7.0.0, esiste un problema noto in cui i lavori Pig in esecuzione su Tez falliscono con Exception. SSLHandshake Ciò è correlato al problema open source TEZ-4096, introdotto con l'aggiornamento Tez alla versione 0.10.2 in EMR 6.9.0. Il problema richiede che le configurazioni relative a SSL vengano passate dal lato client (Pig).

Versione corretta: — EMR 7.1.0

Soluzione alternativa: aggiungere la seguente configurazione SSL a tez-site.xml:

<property>
    <name>ssl.client.truststore.location</name>
    <value>{SSL_TRUSTSTORE_LOCATION}</value>
</property>