As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Versões 7.3.0 do Amazon EMR no EKS
Esta página descreve a funcionalidade nova e atualizada do Amazon EMR que é específica para a implantação do Amazon EMR no EKS. Para obter detalhes sobre o Amazon EMR em execução na Amazon EC2 e sobre a versão do Amazon EMR 7.3.0 em geral, consulte Amazon EMR 7.3.0 no Guia de lançamento do Amazon EMR.
Versões 7.3 do Amazon EMR no EKS
As versões 7.3.0 do Amazon EMR a seguir estão disponíveis para o Amazon EMR no EKS. Selecione uma versão específica do emr-7.3.0-XXXX para exibir mais detalhes, como a tag de imagem do contêiner relacionada.
Notas da versão
Notas da versão 7.3.0 do Amazon EMR no EKS
-
Aplicações compatíveis: AWS SDK para Java 2.25.70 and 1.12.747, Apache Spark 3.5.1-amzn-1, Apache Hudi 0.15.0-amzn-0, Apache Iceberg 1.5.2-amzn-0, Delta 3.2.0-amzn-0, Apache Spark RAPIDS 24.06.1-amzn-0, Jupyter Enterprise Gateway 2.6.0, Apache Flink 1.18.1-amzn-2, Flink Operator 1.9.0-amzn-0
-
Componentes com suporte:
aws-sagemaker-spark-sdk,emr-ddb,emr-goodies,emr-s3-select,emrfs,hadoop-client,hudi,hudi-spark,icebergespark-kubernetes. -
Classificações de configuração com suporte
Para uso com StartJobRune CreateManagedEndpoint APIs:
Classificações Descrições core-siteAltera os valores no arquivo
core-site.xmldo Hadoop.emrfs-siteAlterar as configurações do EMRFS.
spark-metricsAltera os valores no arquivo
metrics.propertiesdo Spark.spark-defaultsAltera os valores no arquivo
spark-defaults.confdo Spark.spark-envAlterar os valores no ambiente do Spark.
spark-hive-siteAltera os valores no arquivo
hive-site.xmldo Spark.spark-log4j2Altera os valores no arquivo
log4j2.propertiesdo Spark.emr-job-submitterConfiguração para o pod de envio de trabalho.
Para uso específico com CreateManagedEndpoint APIs:
Classificações Descrições jeg-configAltera os valores no arquivo
jupyter_enterprise_gateway_config.pydo Jupyter Enterprise Gateway.jupyter-kernel-overridesAltera o valor da imagem do kernel no arquivo de um kernel do Jupyter especificado.
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como
spark-hive-site.xml. Para obter mais informações, consulte Configure Applications.
Recursos notáveis
Os recursos a seguir estão incluídos na versão 7.3.0 do Amazon EMR no EKS.
-
Atualizações de aplicações: o Amazon EMR no EKS agora inclui o Flink Operator 1.9.0. Além de outros recursos, o Kubernetes do Flink agora permite definir cotas de CPU e memória para o escalador automático.
-
Suporte do Apache Iceberg para o Apache Flink: o Apache Iceberg é um formato de tabelas analíticas enormes de código aberto e alta performance. Desde o Amazon EMR 7.3.0, você pode usar as tabelas do Apache Iceberg ao executar o Apache Flink no Amazon EMR no EKS. Para obter mais informações, consulte o artigo Using Apache Iceberg with Amazon EMR on EKS do Amazon EMR no EKS.
-
Suporte do Delta Lake para Apache Flink: o Delta Lake é uma estrutura de camada de armazenamento para arquiteturas de lakehouse comumente desenvolvidas no Amazon S3. Com as versões 7.3.0 e superiores do Amazon EMR, você pode usar as tabelas do Delta ao executar o Apache Flink no Amazon EMR no EKS. Para obter mais informações, consulte Using Delta Lake with Amazon EMR on EKS.
Alterações
As alterações a seguir estão incluídas na versão 7.3.0 do Amazon EMR no EKS.
-
Com o Amazon EMR no EKS 7.3.0 e superior, o Apache Flink agora usa o runtime do Java 17 por padrão.
