As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Amazon EMR nas versões EKS 7.12.0
Esta página descreve a funcionalidade nova e atualizada do Amazon EMR que é específica para a implantação do Amazon EMR no EKS. Para obter detalhes sobre o Amazon EMR em execução na Amazon EC2 e sobre a versão 7.12.0 do Amazon EMR em geral, consulte Amazon EMR 7.12.0 no Guia de lançamento do Amazon EMR.
Amazon EMR nas versões do EKS 7.12
As seguintes versões do Amazon EMR 7.12.0 estão disponíveis para o Amazon EMR no EKS. Selecione uma versão específica do EMR-7.12.0-xxxx para ver mais detalhes, como a tag de imagem do contêiner relacionada.
Notas da versão
Notas de lançamento do Amazon EMR no EKS 7.12.0:
-
Aplicações compatíveis: AWS SDK para Java 2.35.5 and 1.12.792, Apache Spark 3.5.6-amzn-1, Apache Hudi 1.0.2-amzn-1, Apache Iceberg 1.10.0-amzn-0, Delta 3.3.2-amzn-1, Apache Spark RAPIDS 25.04.0-amzn-0, Apache Flink 1.20.0-amzn-6
-
Componentes com suporte ‐
emr-ddb,emr-goodies,emr-s3-select,emrfs,hadoop-client,hudi,hudi-spark,iceberg,spark-kubernetes. -
Classificações de configuração com suporte
Para uso com StartJobRune CreateManagedEndpoint APIs:
Classificações Descrições core-siteAltera os valores no arquivo
core-site.xmldo Hadoop.emrfs-siteAlterar as configurações do EMRFS.
spark-metricsAltera os valores no arquivo
metrics.propertiesdo Spark.spark-defaultsAltera os valores no arquivo
spark-defaults.confdo Spark.spark-envAlterar os valores no ambiente do Spark.
spark-hive-siteAltera os valores no arquivo
hive-site.xmldo Spark.spark-log4j2Altera os valores no arquivo
log4j2.propertiesdo Spark.emr-job-submitterConfiguração para o pod de envio de trabalho.
Para uso específico com CreateManagedEndpoint APIs:
Classificações Descrições jeg-configAltera os valores no arquivo
jupyter_enterprise_gateway_config.pydo Jupyter Enterprise Gateway.jupyter-kernel-overridesAltera o valor da imagem do kernel no arquivo de um kernel do Jupyter especificado.
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como
spark-hive-site.xml. Para obter mais informações, consulte Configure Applications.
Alterações e recursos
Os seguintes recursos estão incluídos na versão 7.12.0 do Amazon EMR no EKS:
-
Visualizações materializadas do Iceberg — A partir do EMR 7.12.0, o EMR Spark suporta a criação e o gerenciamento de visualizações materializadas do Iceberg (MV).
-
Hudi Full Table Access — A partir do EMR 7.12.0, o EMR agora oferece suporte ao controle de Full Table Access (FTA) para o Apache Hudi no Apache Spark com base em suas políticas definidas no Lake Formation. Esse recurso permite operações de leitura e gravação de suas tarefas do Amazon EMR Spark em tabelas registradas do Lake Formation quando a função de trabalho tem acesso total à tabela.
-
Atualização da versão Iceberg — O EMR 7.12.0 é compatível com o Apache Iceberg versão 1.10.
-
Registro para cargas de trabalho interativas do Livy — A partir do EMR 7.12.0, o EMR oferece suporte a registros extensivos dos principais componentes do sistema para melhorar a solução de problemas de falhas de trabalho do Livy Spark. Esse recurso fornecerá ao serviço de EMR acesso a Livy e SecretAgent registros adicionais para simplificar a solução de problemas.
