View a markdown version of this page

Amazon EMR 7.2.0 - Notas de lançamento do Tez - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Amazon EMR 7.2.0 - Notas de lançamento do Tez

Amazon EMR 7.2.0 - Mudanças no Tez

Tipo Description
Melhoria Opção fornecida para desabilitar restrições de localidade ao solicitar contêineres para tarefas.
Correção de bugs Torne o TaskDependencies# addTaskDependency thread seguro
Upgrade Faça upgrade da versão do TLS para 1.3 para o Tez.

Amazon EMR 7.2.0 - Novas configurações

Classificação Nome Padrão Description

tez-site

tez.task.relaxed.locality

false

Quando habilitadas, as restrições de localidade de rack e nó não são consideradas ao solicitar um contêiner para uma tarefa.

Amazon EMR 7.2.0 - Problemas conhecidos com o Tez

Problema de limpeza do Tez DAG (EMR 6.11.0 - EMR 7.2.0) — Em clusters com SSL habilitado executando as versões 6.11.0 a 7.2.0 do EMR, há um problema SSLHandshake conhecido em que ocorre uma exceção no TEZ Application Master (AM) durante a fase de limpeza do DAG. Isso acontece ao tentar excluir dados aleatórios intermediários de nós remotos por HTTPS após a conclusão da consulta, não durante a execução da consulta. O problema ocorre porque o Tez AM não consegue ler a configuração relevante do TrustStore ao chamar o endpoint do manipulador de embaralhamento. No entanto, isso afeta apenas a limpeza dos dados aleatórios durante a limpeza do DAG. A limpeza no nível da aplicação (AM) acontece de qualquer maneira e limpa todos os dados aleatórios remanescentes. Portanto, isso não leva ao acúmulo de dados aleatórios.

Versão da correção: – EMR 7.3.0

Solução alternativa: adicione a seguinte configuração SSL ao tez-site.xml:

<property> <name>ssl.client.truststore.location</name> <value>{SSL_TRUSTSTORE_LOCATION}</value> </property>