Versões 7.10.0 do Amazon EMR no EKS
Esta página descreve a funcionalidade nova e atualizada do Amazon EMR que é específica para a implantação do Amazon EMR no EKS. Para obter detalhes sobre o Amazon EMR em execução no Amazon EC2 e sobre a versão 7.10.0 do Amazon EMR em geral, consulte Amazon EMR 7.10.0 no Guia de lançamento do Amazon EMR.
Versões 7.10 do Amazon EMR no EKS
As versões 7.10.0 do Amazon EMR apresentadas a seguir estão disponíveis para o Amazon EMR no EKS. Selecione uma versão específica do emr-7.10.0-XXXX para visualizar mais detalhes, como a etiqueta de imagem do contêiner relacionada.
Notas da versão
Notas de versão do Amazon EMR no EKS 7.10.0:
-
Aplicações compatíveis ‐ AWS SDK para Java 2.31.48 and 1.12.782, Apache Spark 3.5.5-amzn-1, Apache Hudi 0.15.0-amzn-7, Apache Iceberg 1.8.1-amzn-0, Delta 3.3.0-amzn-2, Apache Spark RAPIDS 25.04.0-amzn-0, Apache Flink 1.20.0-amzn-4, Flink Kubernetes Operator 1.10.0-amzn-4
-
Componentes com suporte ‐
emr-ddb,emr-goodies,emr-s3-select,emrfs,hadoop-client,hudi,hudi-spark,iceberg,spark-kubernetes. -
Classificações de configuração com suporte
Para uso com as APIs StartJobRun e CreateManagedEndpoint:
Classificações Descrições core-siteAltera os valores no arquivo
core-site.xmldo Hadoop.emrfs-siteAlterar as configurações do EMRFS.
spark-metricsAltera os valores no arquivo
metrics.propertiesdo Spark.spark-defaultsAltera os valores no arquivo
spark-defaults.confdo Spark.spark-envAlterar os valores no ambiente do Spark.
spark-hive-siteAltera os valores no arquivo
hive-site.xmldo Spark.spark-log4j2Altera os valores no arquivo
log4j2.propertiesdo Spark.emr-job-submitterConfiguração para o pod de envio de trabalho.
Para uso específico com as APIs CreateManagedEndpoint:
Classificações Descrições jeg-configAltera os valores no arquivo
jupyter_enterprise_gateway_config.pydo Jupyter Enterprise Gateway.jupyter-kernel-overridesAltera o valor da imagem do kernel no arquivo de um kernel do Jupyter especificado.
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como
spark-hive-site.xml. Para obter mais informações, consulte Configure Applications.
Alterações e recursos
Os recursos a seguir estão incluídos na versão 7.10.0 do Amazon EMR no EKS:
Sistema de arquivos S3A: a partir da versão 7.10.0, o sistema de arquivos S3A substituiu o EMRFS como conector do EMR S3 padrão. Para obter mais informações, consulte Sistema de arquivos do EMR (EMRFS).
