Amazon EMR 6.15.0 – Notes de mise à jour de Tez

Tâches Pig exécutées sur Tez — Dans les clusters où le protocole SSL est activé et qui exécutent les versions EMR 6.9.0 à 7.0.0, il existe un problème connu selon lequel les tâches Pig exécutées sur Tez échouent avec une exception. SSLHandshake Cela est lié au problème open source TEZ-4096, qui a été introduit lors de la mise à niveau de Tez vers la version 0.10.2 dans EMR 6.9.0. Le problème nécessite que les configurations liées au SSL soient transmises du côté client (Pig).

Version corrigée : — EMR 7.1.0

Solution : ajoutez la configuration SSL suivante au fichier tez-site.xml :

<property>
    <name>ssl.client.truststore.location</name>
    <value>{SSL_TRUSTSTORE_LOCATION}</value>
</property>

Problème de nettoyage du DAG Tez (EMR 6.11.0 - EMR 7.2.0) — Dans les clusters où le protocole SSL est activé et qui exécutent les versions 6.11.0 à 7.2.0 d'EMR, il existe un SSLHandshakeproblème connu selon lequel une exception se produit dans TEZ Application Master (AM) pendant la phase de nettoyage du DAG. Cela se produit lorsque vous tentez de supprimer des données de shuffle intermédiaires depuis des nœuds distants via HTTPS une fois la requête terminée, et non pendant l'exécution de la requête. Le problème est dû au fait que Tez AM ne peut pas lire la configuration TrustStore appropriée lors de l'appel du point de terminaison du service Shuffle Handler. Toutefois, cela n'affecte que le nettoyage des données de shuffle pendant le nettoyage du DAG. Le nettoyage au niveau de l'application (AM) se produit de toute façon et nettoie toutes les données de shuffle persistantes. Cela ne conduit donc pas à une accumulation de données remaniée.

Version corrigée : — EMR 7.3.0

Solution : ajoutez la configuration SSL suivante au fichier tez-site.xml :

<property>
    <name>ssl.client.truststore.location</name>
    <value>{SSL_TRUSTSTORE_LOCATION}</value>
</property>

Ouverture de division asynchrone Tez – Amazon EMR 6.15.0 introduit des configurations que vous pouvez spécifier pour ouvrir de manière asynchrone les divisions d’entrée dans une division groupée Tez. La fonctionnalité a été initiée par TEZ-4397, mais a connu des régressions dans OSS Hive. Amazon EMR Hive a corrigé les régressions et les bogues supplémentaires dans la table Hive ACID. Cette amélioration permet d’accélérer les performances des requêtes de lecture lorsqu’il existe un grand nombre de divisions d’entrée dans une seule division groupée Tez. Pour plus d’informations, voir la rubrique Ouverture fractionnée asynchrone Tez.