Amazon EMR 6.15.0: notas de la versión de Tez

Trabajos de Pig que se ejecutan en Tez: en los clústeres con SSL habilitado que ejecutan EMR de las versiones 6.9.0 a 7.0.0, existe un problema conocido por el que los trabajos de Pig que se ejecutan en Tez fallan con excepción. SSLHandshake Esto está relacionado con el problema de código abierto TEZ-4096, que se introdujo con la actualización de Tez a la versión 0.10.2 en EMR 6.9.0. El problema requiere que las configuraciones relacionadas con SSL se transfieran desde el lado del cliente (Pig).

Versión de reparación: EMR 7.1.0

Solución alternativa: añada la siguiente configuración SSL a tez-site.xml.

<property>
    <name>ssl.client.truststore.location</name>
    <value>{SSL_TRUSTSTORE_LOCATION}</value>
</property>

Problema de limpieza del DAG de Tez (EMR 6.11.0 - EMR 7.2.0): en los clústeres con SSL habilitado que ejecutan las versiones 6.11.0 a 7.2.0 de EMR, existe un SSLHandshakeproblema conocido por el que se produce una excepción en TEZ Application Master (AM) durante la fase de limpieza del DAG. Esto ocurre cuando se intentan eliminar datos intermedios aleatorios de nodos remotos a través de HTTPS una vez finalizada la consulta, no durante la ejecución de la consulta. El problema se debe a que Tez AM no puede leer la configuración de TrustStore correspondiente al llamar al punto de conexión del servicio de controlador aleatorio. Sin embargo, esto solo afecta a la limpieza de los datos aleatorios durante la limpieza del DAG; de todos modos, la limpieza a nivel de la aplicación (AM) se realiza igual, y se eliminan los datos aleatorios persistentes. Por lo tanto, esto no conduce a una acumulación de datos aleatorios.

Versión de reparación: EMR 7.3.0

Solución alternativa: añada la siguiente configuración SSL a tez-site.xml.

<property>
    <name>ssl.client.truststore.location</name>
    <value>{SSL_TRUSTSTORE_LOCATION}</value>
</property>

Apertura de división asíncrona de Tez: Amazon EMR 6.15.0 presenta configuraciones que puede especificar para abrir de forma asíncrona las divisiones de entrada en una división agrupada de Tez. TEZ-4397 inició la característica, pero se produjeron regresiones en OSS Hive. Amazon EMR Hive corrigió las regresiones y errores adicionales en la tabla ACID de Hive. Esta mejora resulta en un rendimiento más rápido de las consultas de lectura cuando hay un gran número de divisiones de entrada en una única división agrupada de Tez. Para obtener más información, consulte Apertura de división asíncrona de Tez.