Amazon EMR 7.1.0 - Notes de mise à jour de Tez

Problème de nettoyage du DAG Tez (EMR 6.11.0 - EMR 7.2.0) — Dans les clusters où le protocole SSL est activé et qui exécutent les versions 6.11.0 à 7.2.0 d'EMR, il existe un SSLHandshakeproblème connu selon lequel une exception se produit dans TEZ Application Master (AM) pendant la phase de nettoyage du DAG. Cela se produit lorsque vous tentez de supprimer des données de shuffle intermédiaires depuis des nœuds distants via HTTPS une fois la requête terminée, et non pendant l'exécution de la requête. Le problème est dû au fait que Tez AM ne peut pas lire la configuration TrustStore appropriée lors de l'appel du point de terminaison du service Shuffle Handler. Toutefois, cela n'affecte que le nettoyage des données de shuffle pendant le nettoyage du DAG. Le nettoyage au niveau de l'application (AM) se produit de toute façon et nettoie toutes les données de shuffle persistantes. Cela ne conduit donc pas à une accumulation de données remaniée.

Version corrigée : — EMR 7.3.0

Solution : ajoutez la configuration SSL suivante au fichier tez-site.xml :

<property>
    <name>ssl.client.truststore.location</name>
    <value>{SSL_TRUSTSTORE_LOCATION}</value>
</property>

Tâches Pig exécutées sur Tez — Dans les clusters où le protocole SSL est activé et qui exécutent les versions EMR 6.9.0 à 7.0.0, il existe un problème connu selon lequel les tâches Pig exécutées sur Tez échouent avec une exception. SSLHandshake Cela est lié au problème open source TEZ-4096, qui a été introduit lors de la mise à niveau de Tez vers la version 0.10.2 dans EMR 6.9.0. Le problème nécessite que les configurations liées au SSL soient transmises du côté client (Pig).

Version corrigée : — EMR 7.1.0

Solution : ajoutez la configuration SSL suivante au fichier tez-site.xml :

<property>
    <name>ssl.client.truststore.location</name>
    <value>{SSL_TRUSTSTORE_LOCATION}</value>
</property>