As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
# O que há de novo?
Esta página descreve as alterações e as funcionalidades disponíveis nas versões mais recentes do Amazon EMR 7.x, 6.x e 5.x.
Essas notas de versão também estão disponíveis nas páginas do [Amazon EMR 7.13.0](emr-7130-release.md), Amazon EMR 6.15.0 [e Amazon](emr-5362-release.md) [EMR](emr-6150-release.md) 5.36.2, junto com as versões do aplicativo, as versões dos componentes e as classificações de configuração disponíveis para cada versão.
+ Para obter notas de versões anteriores, consulte o [Arquivo de notas de versão do Amazon EMR](emr-whatsnew-history.md).
+ Para receber atualizações quando uma nova versão do Amazon EMR estiver disponível, assine o [RSS feed das notas de versão do Amazon EMR](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/amazon-emr-release-notes.rss).
**nota**
Versões posteriores do Amazon EMR usam o AWS Signature Version 4 (SigV4) para autenticar solicitações no Amazon S3. Recomendamos o uso de uma versão do Amazon EMR que ofereça suporte ao SigV4 para que você possa acessar novos buckets do S3 e evitar a interrupção das suas workloads. Para obter mais informações e uma lista das versões do Amazon EMR compatíveis com o SigV4, consulte [Amazon EMR e AWS Signature versão 4](#emr-sigv4).
## Agentes de atualização e solução de problemas do Apache Spark
**Agente de atualização do Apache Spark**
O Apache Spark Upgrade Agent para Amazon EMR é um recurso de IA conversacional que acelera as atualizações de versão do Apache Spark para seus aplicativos EMR. As atualizações tradicionais do Spark exigem meses de esforço de engenharia para analisar as mudanças na API, resolver conflitos de dependência e validar a correção funcional. O agente simplifica o processo de upgrade por meio de solicitações em linguagem natural, transformação automatizada de código e validação da qualidade dos dados.
Você pode usar o agente para atualizar PySpark e escalar aplicativos em execução no Amazon EMR no EC2 e no Amazon EMR Serverless. O agente analisa seu código, identifica as alterações necessárias e realiza transformações automatizadas, mantendo seu controle de aprovação sobre todas as modificações. Para obter mais detalhes, consulte[O que é o Apache Spark Upgrade Agent para Amazon EMR](spark-upgrades.md).
**Agente de solução de problemas do Apache Spark**
O agente de solução de problemas do Apache Spark para o Amazon EMR é um recurso de IA conversacional que simplifica a solução de problemas de aplicativos do Apache Spark no Amazon EMR, Glue e Amazon Notebooks. AWS SageMaker A solução de problemas tradicional do Spark exige uma ampla análise manual de registros, métricas de desempenho e padrões de erro para identificar as causas principais e as correções de código. O agente simplifica esse processo por meio de solicitações em linguagem natural, análise automatizada da carga de trabalho e recomendações inteligentes de código.
Você pode usar o agente para solucionar problemas PySpark e falhas nos aplicativos Scala. O agente analisa seus trabalhos fracassados, identifica gargalos de desempenho e fornece recomendações práticas e correções de código, ao mesmo tempo em que oferece controle total sobre as decisões de implementação. Para obter mais detalhes, consulte[O que é o agente de solução de problemas do Apache Spark para Amazon EMR](spark-troubleshoot.md).
## Amazon EMR 7.13.0 (versão mais recente da série 7.x)
Novas versões do Amazon EMR são disponibilizadas em diferentes regiões durante um período de vários anos, começando com a primeira região na data da versão inicial. A versão mais recente pode não estar disponível em sua região durante esse período.
As notas de lançamento a seguir incluem informações sobre a versão 7.13.0 do Amazon EMR.
### O que há de novo
+ **Python 3.11 padrão para PySpark cargas de trabalho do Spark — o Python 3.11 agora é a versão padrão do Python para cargas** de trabalho do Spark. PySpark O Python 3.9 continua sendo o padrão para todos os outros aplicativos. Tanto o Python 3.9 quanto o 3.11 estão incluídos na versão.
### Alterações, melhorias e problemas resolvidos
+ **Propriedade de configuração do Iceberg** — O Amazon EMR 7.13 adiciona uma nova propriedade de configuração do Iceberg,. `spark.sql.catalog.spark_catalog.route-non-iceberg-drop-to-session-catalog` Quando definido como`true`, `DROP TABLE` em tabelas não gerenciadas pelo Iceberg, ele `SparkSessionCatalog` exclui os metadados da tabela e os dados subjacentes do Amazon S3. O valor padrão é `false`.
### Atualizações de aplicativos
Os seguintes aplicativos foram atualizados nesta versão:
+ HBase 2.6.4-amzn-0 (atualizado do 2.6.2-amzn-3)
+ Hadoop 3.4.2-amzn-0 (atualizado do 3.4.1-amzn-4)
+ Phoenix 5.3.0 (atualizado a partir do 5.2.1)
+ Hudi 1.0.2-amzn-2 (atualizado de 1.0.2-amzn-1)
+ Trino 479-amzn-1 (atualizado de 476-amzn-1)
+ AWS SDK v2 2.42.12 (atualizado a partir do 2.35.5)
+ AWS SDK v1 1.12.797 (atualizado a partir da 1.12.792)
+ Spark 3.5.6-amzn-2, Hive 3.1.3-amzn-22, Tez 0.10.2-amzn-20, Presto 0.287-amzn-7, Iceberg 1.10.0-amzn-1, Delta 3.3.2-amzn-2, Flink 1.20.0-amzn-7, 3.9.3-amzn-5 (amzn patch bumps) ZooKeeper
### Problemas conhecidos e limitações
Não há problemas conhecidos nesta versão.
## Amazon EMR 6.15.0 (versão mais recente da série 6.x)
Novas versões do Amazon EMR são disponibilizadas em diferentes regiões durante um período de vários anos, começando com a primeira região na data da versão inicial. A versão mais recente pode não estar disponível em sua região durante esse período.
As notas da versão a seguir incluem informações sobre a versão 6.15.0 do Amazon EMR. As alterações são referentes à versão 6.14.0. Para obter informações sobre o cronograma da versão, consulte o [Log de alterações 6.15.0](emr-6150-release.md#6150-changelog).
**Novos recursos**
+ **Atualizações da aplicação**: Amazon EMR 6.15.0 application upgrades include Apache Hadoop 3.3.6, Apache Hudi 0.14.0-amzn-0, Iceberg 1.4.0-amzn-0, and Trino 426.
+ **[Lançamentos mais rápidos para clusters do EMR executados no EC2](https://aws.amazon.com/about-aws/whats-new/2023/11/amazon-emr-ec2-clusters-5-minutes-less/)**: agora é até 35% mais rápido lançar um cluster do Amazon EMR no EC2. Com essa melhoria, a maioria dos clientes pode lançar seus clusters em cinco minutos ou menos.
+ **[CodeWhisperer para o EMR Studio](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-studio-codewhisperer.html)** — Agora você pode usar a Amazon com o CodeWhisperer Amazon EMR Studio para obter recomendações em tempo real à medida que você escreve código. JupyterLab CodeWhisperer pode concluir seus comentários, concluir linhas únicas de código, fazer recomendações linha por linha e gerar funções totalmente formadas.
+ **[Tempos de reinicialização de trabalhos mais rápidos com o Flink](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/flink-restart.html)**: com o Amazon EMR 6.15.0 e superior, vários novos mecanismos estão disponíveis para o Apache Flink a fim de melhorar o tempo de reinicialização de trabalhos durante as operações de recuperação ou escalabilidade de tarefas. Isso otimiza a velocidade de recuperação e reinicialização dos gráficos de execução para melhorar a estabilidade do trabalho.
+ **[Table-level e controle de acesso refinado para formatos de tabela aberta —](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-lf-enable.html)** Com o Amazon EMR 6.15.0 e superior, quando você executa trabalhos do Spark no Amazon EMR em clusters EC2 que acessam dados no AWS Glue Data Catalog, você pode AWS Lake Formation usar para aplicar permissões em nível de tabela, linha, coluna e célula em tabelas baseadas em Hudi, Iceberg ou Delta Lake.
+ **Atualização do Hadoop**: o Amazon EMR 6.15.0 inclui uma atualização do Apache Hadoop para a versão 3.3.6. O Hadoop 3.3.6 era a versão mais recente na época da implantação do Amazon EMR 6.15, lançada pela Apache em junho de 2023. Versões anteriores do Amazon EMR (6.9.0 até 6.14.x) usavam o Hadoop 3.3.3.
A atualização inclui centenas de melhorias e correções, além de recursos com parâmetros de nós de dados reconfiguráveis, a opção `DFSAdmin` para iniciar operações de reconfiguração em massa em todos os nós de dados ativos e uma API vetorizada que permite aos leitores exigentes especificar vários intervalos de leitura. O Hadoop 3.3.6 também adiciona suporte a APIs e semântica do HDFS para o log de gravação antecipada (WAL), de modo que o HBase possa ser executado em outras implementações de sistemas de armazenamento. Para obter mais informações, consulte os logs de alterações das versões [3.3.4](https://hadoop.apache.org/docs/r3.3.4/hadoop-project-dist/hadoop-common/release/3.3.4/CHANGELOG.3.3.4.html), [3.3.5](https://hadoop.apache.org/docs/r3.3.5/hadoop-project-dist/hadoop-common/release/3.3.5/CHANGELOG.3.3.5.html) e [3.3.6](https://hadoop.apache.org/docs/r3.3.6/hadoop-project-dist/hadoop-common/release/3.3.6/CHANGELOG.3.3.6.html) na *documentação do Apache Hadoop*.
+ **Suporte ao AWS SDK for Java, versão** [2 - Os aplicativos Amazon EMR 6.15.0 podem usar o SDK for AWS Java nas [versões](https://github.com/aws/aws-sdk-java/tree/1.12.569) 1.12.569 ou 2.20.160 se o aplicativo suportar a versão 2.](https://github.com/aws/aws-sdk-java-v2/tree/2.20.160) O AWS SDK for Java 2.x é uma grande reescrita da base de código da versão 1.x. Ele foi criado com base no Java 8\+ e adiciona vários recursos frequentemente solicitados. Isso inclui suporte para não bloqueio I/O e a capacidade de conectar uma implementação HTTP diferente em tempo de execução. Para obter mais informações, incluindo um **Guia de migração do SDK para Java da v1 à v2**, consulte o guia [AWS SDK para Java, versão 2](https://docs.aws.amazon.com/sdk-for-java).
**Problemas conhecidos**
+ Um script de estado de instância no cluster que monitora a integridade da instância pode consumir recursos excessivos de CPU e memória quando há um grande número de threads and/or abertos e manipuladores de arquivos no nó.
**Alterações, melhorias e problemas resolvidos**
+ *A partir do Spark 3.3.1 (com suporte nas versões 6.10 e posteriores do EMR), todos os executores em um host de descomissionamento são configurados para um novo `ExecutorState`, chamado de estado DECOMMISSIONING*. Os executores que estão sendo desativados não podem ser usados pelo Yarn para alocar tarefas e, portanto, ele solicitará novos executores, se necessário, para as tarefas que estão sendo executadas. Portanto, se você desativar o Spark DRA ao usar o EMR Managed Scaling, o EMR Auto Scaling ou qualquer mecanismo de escalabilidade personalizado em clusters, o Yarn poderá EMR-EC2 solicitar o máximo de executores permitidos para cada trabalho. Para evitar esse problema, deixe a propriedade `spark.dynamicAllocation.enabled` definida como `TRUE` (que é o padrão) ao usar a combinação de recursos acima. Além disso, você também pode definir restrições mínimas e máximas para executores, definindo valores para as propriedades `spark.dynamicAllocation.maxExecutors` e `spark.dynamicAllocation.minExecutors` para seus trabalhos Spark, a fim de restringir o número de executores alocados durante a execução do trabalho.
+ Para melhorar seus clusters de alta disponibilidade do EMR, essa versão permite a conectividade com daemons do Amazon EMR em um host local que usa endpoints IPv6.
+ Esta versão habilita o TLS 1.2 para comunicação com ZooKeeper provisionados em todos os nós primários do seu cluster de alta disponibilidade.
+ Esta versão melhora o gerenciamento dos arquivos de log de ZooKeeper transações que são mantidos nos nós primários para minimizar os cenários em que os arquivos de log ultrapassam os limites e interrompem as operações do cluster.
+ Essa versão torna a comunicação entre nós mais resiliente para clusters de alta disponibilidade do EMR. Essa melhoria reduz a chance de falhas na ação de bootstrap ou na inicialização do cluster.
+ O Tez no Amazon EMR 6.15.0 introduz configurações que você pode especificar para abrir de forma assíncrona as divisões de entrada em uma divisão agrupada do Tez. Isso resulta em uma performance mais rápida das consultas de leitura quando há um grande número de divisões de entrada em uma única divisão agrupada do Tez. Para obter mais informações, consulte a [Abertura assíncrona da divisão do Tez](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/tez-configure.html#tez-configure-async).
+ Quando você inicia um cluster com a *versão de patch mais recente* do Amazon EMR 5.36 ou superior, 6.6 ou superior ou 7.0 ou superior, o Amazon EMR usa a versão mais recente do Amazon Linux 2023 ou do Amazon Linux 2 para a AMI padrão do Amazon EMR. Para obter mais informações, consulte [Como usar a AMI padrão do Amazon Linux para Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html).
[See the AWS documentation website for more details](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/emr-whatsnew.html)
## Amazon EMR 5.36.2 (versão mais recente da série 5.x)
Novas versões do Amazon EMR são disponibilizadas em diferentes regiões durante um período de vários anos, começando com a primeira região na data da versão inicial. A versão mais recente pode não estar disponível em sua região durante esse período.
As notas da versão a seguir incluem informações sobre a versão 5.36.2 do Amazon EMR. As alterações são referentes à versão 5.36.1. Para obter informações sobre o cronograma da versão, consulte o [log de alterações](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-5362-release.html#5362-changelog).
**Alterações, melhorias e problemas resolvidos**
+ Essa versão melhora a lógica de redução vertical da escala do cluster para que o Amazon EMR não reduza a escala dos nós centrais abaixo da configuração do fator de replicação do HDFS para o cluster. Essa melhoria atende aos requisitos de redundância de dados e reduz a chance de uma operação de ajuste de escala ser interrompida.
+ Esta versão adiciona um mecanismo de nova tentativa ao fluxo de trabalho de escalabilidade de clusters para clusters do EMR que executam o Presto ou o Trino. Essa melhoria reduz o risco de o redimensionamento do cluster ser executado indefinidamente devido a uma única operação de redimensionamento com falha. Ela também aprimora a utilização dos clusters, porque seu cluster aumenta e reduz a escala verticalmente com mais rapidez.
+ Corrige um problema em que as operações de redução vertical da escala do cluster podem ficar paralisadas enquanto o Amazon EMR desativa normalmente um nó central e ele se torna não íntegro antes de ser totalmente desativado.
+ Melhora a estabilidade de um nó em um cluster de alta disponibilidade com vários nós primários quando o Amazon EMR reinicia um único nó.
+ Otimiza o gerenciamento de logs com o Amazon EMR em execução no Amazon EC2. Como resultado, é possível ver uma pequena redução nos custos de armazenamento dos logs do cluster.
+ Melhora o gerenciamento dos arquivos de log de ZooKeeper transações que são mantidos nos nós primários para minimizar os cenários em que os arquivos de log ultrapassam os limites e interrompem as operações do cluster.
+ Corrige um bug raro que pode fazer com que um cluster de alta disponibilidade com vários nós primários falhe por não conseguir se comunicar com o ResourceManager Yarn.
+ Quando você inicia um cluster com a *versão de patch mais recente* do Amazon EMR 5.36 ou superior, 6.6 ou superior ou 7.0 ou superior, o Amazon EMR usa a versão mais recente do Amazon Linux 2023 ou do Amazon Linux 2 para a AMI padrão do Amazon EMR. Para obter mais informações, consulte [Como usar a AMI padrão do Amazon Linux para Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html).
[See the AWS documentation website for more details](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/emr-whatsnew.html)
## Amazon EMR e AWS Signature versão 4
As versões do Amazon EMR usam o AWS Signature versão 4 (SigV4) para autenticar solicitações no Amazon S3. Os buckets criados no Amazon S3 depois de 24 de junho de 2020 não são compatíveis com solicitações assinadas pelo Signature Version 2 (SigV2). Os buckets criados em ou antes de 24 de junho de 2020 continuarão a oferecer suporte ao SigV2. Recomendamos a migração para uma versão do Amazon EMR que ofereça suporte ao SigV4 para que você possa acessar novos buckets do S3 e evitar a interrupção das suas workloads.
Se você usa aplicações incluídas no Amazon EMR, como Apache Spark, Apache Hive e Presto, não precisa alterar o código da aplicação para usar o SigV4. Se você usa aplicações personalizadas que não estão incluídas no Amazon EMR, talvez seja necessário atualizar seu código para usar o SigV4. Para obter mais informações, consulte [Migração do Signature Version 2 para o Signature Version 4](https://docs.aws.amazon.com/AmazonS3/latest/dev/UsingAWSSDK.html#UsingAWSSDK-move-to-Sig4) no Guia do usuário do Amazon S3.
As seguintes versões do Amazon EMR são compatíveis com SigV4: emr-4.7.4, emr-4.8.5, emr-4.9.6, emr-4.10.1, emr-5.1.1, emr-5.2.3, emr-5.3.2, emr-5.4.1, emr-5.5.4, emr-5.6.1, emr-5.7.1, emr-5.8.3, emr-5.9.1, emr-5.10.1, emr-5.11.4, emr-5.12.3, emr-5.13.1, emr-5.14.2, emr-5.15.1, emr-5.16.1, emr-5.17.2, emr-5.18.1, emr-5.19.1, emr-5.20.1, emr-5.21.2, and emr-5.22.0 and higher. Todas as versões 6.x e 7.x são compatíveis com SigV4.