Amazon EMR 6.15.0: notas de versão do Tez

Trabalhos do Pig em execução no Tez — Em clusters com SSL habilitado executando o EMR versão 6.9.0 a 7.0.0, há um problema conhecido em que os trabalhos do Pig executados no Tez falham com exceção. SSLHandshake Isso está relacionado ao problema de código aberto TEZ-4096, que foi introduzido com o upgrade do Tez para a versão 0.10.2 no EMR 6.9.0. O problema requer que as configurações relacionadas ao SSL sejam passadas do lado do cliente (Pig).

Versão da correção: – EMR 7.1.0

Solução alternativa: adicione a seguinte configuração SSL ao tez-site.xml:

<property>
    <name>ssl.client.truststore.location</name>
    <value>{SSL_TRUSTSTORE_LOCATION}</value>
</property>

Problema de limpeza do Tez DAG (EMR 6.11.0 - EMR 7.2.0) — Em clusters com SSL habilitado executando as versões 6.11.0 a 7.2.0 do EMR, há um problema SSLHandshake conhecido em que ocorre uma exceção no TEZ Application Master (AM) durante a fase de limpeza do DAG. Isso acontece ao tentar excluir dados aleatórios intermediários de nós remotos por HTTPS após a conclusão da consulta, não durante a execução da consulta. O problema ocorre porque o Tez AM não consegue ler a configuração relevante do TrustStore ao chamar o endpoint do manipulador de embaralhamento. No entanto, isso afeta apenas a limpeza dos dados aleatórios durante a limpeza do DAG. A limpeza no nível da aplicação (AM) acontece de qualquer maneira e limpa todos os dados aleatórios remanescentes. Portanto, isso não leva ao acúmulo de dados aleatórios.

Versão da correção: – EMR 7.3.0

Solução alternativa: adicione a seguinte configuração SSL ao tez-site.xml:

<property>
    <name>ssl.client.truststore.location</name>
    <value>{SSL_TRUSTSTORE_LOCATION}</value>
</property>

Abertura de divisão assíncrona do Tez: o Amazon EMR 6.15.0 introduz configurações que você pode especificar para abrir de forma assíncrona as divisões de entrada em uma divisão agrupada do Tez. O recurso foi iniciado pelo TEZ-4397, mas teve regressões no Hive do OSS. O Hive para Amazon EMR corrigiu as regressões e outros bugs na tabela ACID do Hive. Essa melhoria resulta em uma performance mais rápida das consultas de leitura quando há um grande número de divisões de entrada em uma única divisão agrupada do Tez. Para obter mais informações, consulte Abertura de divisão assíncrona do Tez.