Amazon EMR 7.1.0: notas de la versión de Tez

Problema de limpieza del DAG de Tez (EMR 6.11.0 - EMR 7.2.0): en los clústeres con SSL habilitado que ejecutan las versiones 6.11.0 a 7.2.0 de EMR, existe un SSLHandshakeproblema conocido por el que se produce una excepción en TEZ Application Master (AM) durante la fase de limpieza del DAG. Esto ocurre cuando se intentan eliminar datos intermedios aleatorios de nodos remotos a través de HTTPS una vez finalizada la consulta, no durante la ejecución de la consulta. El problema se debe a que Tez AM no puede leer la configuración de TrustStore correspondiente al llamar al punto de conexión del servicio de controlador aleatorio. Sin embargo, esto solo afecta a la limpieza de los datos aleatorios durante la limpieza del DAG; de todos modos, la limpieza a nivel de la aplicación (AM) se realiza igual, y se eliminan los datos aleatorios persistentes. Por lo tanto, esto no conduce a una acumulación de datos aleatorios.

Versión de reparación: EMR 7.3.0

Solución alternativa: añada la siguiente configuración SSL a tez-site.xml.

<property>
    <name>ssl.client.truststore.location</name>
    <value>{SSL_TRUSTSTORE_LOCATION}</value>
</property>

Trabajos de Pig que se ejecutan en Tez: en los clústeres con SSL habilitado que ejecutan EMR de las versiones 6.9.0 a 7.0.0, existe un problema conocido por el que los trabajos de Pig que se ejecutan en Tez fallan con excepción. SSLHandshake Esto está relacionado con el problema de código abierto TEZ-4096, que se introdujo con la actualización de Tez a la versión 0.10.2 en EMR 6.9.0. El problema requiere que las configuraciones relacionadas con SSL se transfieran desde el lado del cliente (Pig).

Versión de reparación: EMR 7.1.0

Solución alternativa: añada la siguiente configuración SSL a tez-site.xml.

<property>
    <name>ssl.client.truststore.location</name>
    <value>{SSL_TRUSTSTORE_LOCATION}</value>
</property>