As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Versões 6.13.0 do Amazon EMR no EKS
Esta página descreve a funcionalidade nova e atualizada do Amazon EMR que é específica para a implantação do Amazon EMR no EKS. Para obter detalhes sobre o Amazon EMR em execução na Amazon EC2 e sobre a versão do Amazon EMR 6.13.0 em geral, consulte Amazon EMR 6.13.0 no Guia de lançamento do Amazon EMR.
Versões 6.13 do Amazon EMR no EKS
As versões 6.13.0 do Amazon EMR apresentadas a seguir estão disponíveis para o Amazon EMR no EKS. Selecione uma versão específica do emr-6.13.0-XXXX para visualizar mais detalhes, como a etiqueta de imagem do contêiner relacionada.
-
emr-6.13.0-spark-rapids-latest
-
emr-6.13.0-spark-rapids-20230814
-
emr-6.13.0-java11-latest
-
emr-6.13.0-java11-20230814
-
emr-6.13.0-java17-latest
-
emr-6.13.0-java17-20230814
-
emr-6.13.0-java17-al2023-latest
-
emr-6.13.0-java17-al2023-20230814
-
emr-6.13.0-spark-rapids-java17-latest
-
emr-6.13.0-spark-rapids-java17-20230814
-
emr-6.13.0-spark-rapids-java17-al2023-latest
-
emr-6.13.0-spark-rapids-java17-al2023-20230814
-
notebook-spark/emr-6.13.0-latest
-
notebook-spark/emr-6.13.0-20230814
-
notebook-spark/emr-6.13.0-spark-rapids-latest
-
notebook-spark/emr-6.13.0-spark-rapids-20230814
-
notebook-spark/emr-6.13.0-java11-latest
-
notebook-spark/emr-6.13.0-java11-20230814
-
notebook-spark/emr-6.13.0-java17-latest
-
notebook-spark/emr-6.13.0-java17-20230814
-
notebook-spark/emr-6.13.0-java17-al2023-latest
-
notebook-spark/emr-6.13.0-java17-al2023-20230814
-
notebook-python/emr-6.13.0-latest
-
notebook-python/emr-6.13.0-20230814
-
notebook-python/emr-6.13.0-spark-rapids-latest
-
notebook-python/emr-6.13.0-spark-rapids-20230814
-
notebook-python/emr-6.13.0-java11-latest
-
notebook-python/emr-6.13.0-java11-20230814
-
notebook-python/emr-6.13.0-java17-latest
-
notebook-python/emr-6.13.0-java17-20230814
-
notebook-python/emr-6.13.0-java17-al2023-latest
-
notebook-python/emr-6.13.0-java17-al2023-20230814
Notas da versão
Notas da versão 6.13.0 do Amazon EMR no EKS
-
Aplicativos compatíveis ‐ AWS SDK para Java 1.12.513, Apache Spark 3.4.1-amzn-0, Apache Hudi 0.13.1-amzn-0, Apache Iceberg 1.3.0-amzn-0, Delta 2.4.0, Apache Spark RAPIDS 23.06.0-amzn-1, Jupyter Enterprise Gateway 2.6.0.amzn
-
Componentes com suporte:
aws-sagemaker-spark-sdk
,emr-ddb
,emr-goodies
,emr-s3-select
,emrfs
,hadoop-client
,hudi
,hudi-spark
,iceberg
espark-kubernetes
. -
Classificações de configuração com suporte
Para uso com StartJobRune CreateManagedEndpoint APIs:
Classificações Descrições core-site
Altera os valores no arquivo
core-site.xml
do Hadoop.emrfs-site
Alterar as configurações do EMRFS.
spark-metrics
Altera os valores no arquivo
metrics.properties
do Spark.spark-defaults
Altera os valores no arquivo
spark-defaults.conf
do Spark.spark-env
Alterar os valores no ambiente do Spark.
spark-hive-site
Altera os valores no arquivo
hive-site.xml
do Spark.spark-log4j
Altera os valores no arquivo
log4j2.properties
do Spark.emr-job-submitter
Configuração para o pod de envio de trabalho.
Para uso específico com CreateManagedEndpoint APIs:
Classificações Descrições jeg-config
Altera os valores no arquivo
jupyter_enterprise_gateway_config.py
do Jupyter Enterprise Gateway.jupyter-kernel-overrides
Altera o valor da imagem do kernel no arquivo de um kernel do Jupyter especificado.
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como
spark-hive-site.xml
. Para obter mais informações, consulte Configure Applications.
Recursos notáveis
Os recursos apresentados a seguir estão inclusos na versão 6.13 do Amazon EMR no EKS.
-
Amazon Linux 2023 - Com o Amazon EMR no EKS 6.13 e superior, você pode iniciar o Spark com o AL2 023 como sistema operacional junto com o tempo de execução do Java 17. Para fazer isso, use o rótulo de versão
al2023
em seu nome. Por exemplo:emr-6.13.0-java17-al2023-latest
. Recomendamos que você valide e execute testes de desempenho antes de mover suas cargas de trabalho de produção para AL2 023 e Java 17. -
Amazon EMR no EKS com o Apache Flink (pré-visualização pública): as versões 6.13 do Amazon EMR no EKS e versões superiores oferecem suporte ao Apache Flink, que está disponível em pré-visualização pública. Com este lançamento, você pode executar sua aplicação baseada no Apache Flink em conjunto com outros tipos de aplicações no mesmo cluster do Amazon EKS. Isso ajuda a melhorar a utilização de recursos e a simplificar o gerenciamento da infraestrutura. Se você já executa estruturas de big data no Amazon EKS, agora é possível permitir que o Amazon EMR automatize o provisionamento e o gerenciamento.