As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Amazon EMR nas versões do EKS 7.8.0
Esta página descreve a funcionalidade nova e atualizada do Amazon EMR que é específica para a implantação do Amazon EMR no EKS. Para obter detalhes sobre o Amazon EMR em execução no Amazon EC2 e sobre a versão do Amazon EMR 7.8.0 em geral, consulte o Amazon EMR 7.8.0 no Guia de lançamento do Amazon EMR.
Amazon EMR nas versões do EKS 7.8
As seguintes versões do Amazon EMR 7.8.0 estão disponíveis para o Amazon EMR no EKS. Selecione uma versão específica do EMR-7.8.0-xxxx para ver mais detalhes, como a tag de imagem do contêiner relacionada.
Notas da versão
Notas de lançamento do Amazon EMR no EKS 7.8.0
-
Aplicações compatíveis: AWS SDK para Java 2.29.52 and 1.12.780, Apache Spark 3.5.4, Apache Hudi 0.15.0-amzn-5, Apache Iceberg 1.7.1-amzn-1, Delta 3.3.0-amzn-0, Apache Spark RAPIDS 24.12.0-amzn-0, Jupyter Enterprise Gateway 2.6.0, Apache Flink 1.20.0-amzn-2, Flink Operator 1.10.0-amzn-2
-
Componentes com suporte ‐
emr-ddb,emr-goodies,emr-s3-select,emrfs,hadoop-client,hudi,hudi-spark,iceberg,spark-kubernetes. -
Classificações de configuração com suporte
Para uso com CreateManagedEndpoint APIs StartJobRun e:
Classificações Descrições core-siteAltera os valores no arquivo
core-site.xmldo Hadoop.emrfs-siteAlterar as configurações do EMRFS.
spark-metricsAltera os valores no arquivo
metrics.propertiesdo Spark.spark-defaultsAltera os valores no arquivo
spark-defaults.confdo Spark.spark-envAlterar os valores no ambiente do Spark.
spark-hive-siteAltera os valores no arquivo
hive-site.xmldo Spark.spark-log4j2Altera os valores no arquivo
log4j2.propertiesdo Spark.emr-job-submitterConfiguração para o pod de envio de trabalho.
Para uso específico com CreateManagedEndpoint APIs:
Classificações Descrições jeg-configAltera os valores no arquivo
jupyter_enterprise_gateway_config.pydo Jupyter Enterprise Gateway.jupyter-kernel-overridesAltera o valor da imagem do kernel no arquivo de um kernel do Jupyter especificado.
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como
spark-hive-site.xml. Para obter mais informações, consulte Configure Applications.
Alterações
As alterações a seguir estão incluídas na versão 7.8.0 do Amazon EMR no EKS:
Native-FGAC recursos, incluindo:
Suporte Iceberg para executar trabalhos que executam ações em tabelas de Non-Lake formação em um cluster virtual de controle de acesso (FGAC) refinado. (Há um recurso alternativo para o IAM.)
Suporte para tabelas do S3
-
Conexão com o Spark
