Amazon EMR nas versões do EKS 7.6.0 - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Amazon EMR nas versões do EKS 7.6.0

Esta página descreve a funcionalidade nova e atualizada do Amazon EMR que é específica para a implantação do Amazon EMR no EKS. Para obter detalhes sobre o Amazon EMR em execução na Amazon EC2 e sobre a versão do Amazon EMR 7.6.0 em geral, consulte Amazon EMR 7.6.0 no Guia de lançamento do Amazon EMR.

Amazon EMR nas versões do EKS 7.6

As seguintes versões do Amazon EMR 7.6.0 estão disponíveis para o Amazon EMR no EKS. Selecione uma versão específica do EMR-7.6.0-xxxx para ver mais detalhes, como a tag de imagem do contêiner relacionada.

Flink releases

As seguintes versões do Amazon EMR 7.6.0 estão disponíveis para o Amazon EMR no EKS quando você executa aplicativos Flink.

Spark releases

As seguintes versões do Amazon EMR 7.6.0 estão disponíveis para o Amazon EMR no EKS quando você executa aplicativos Spark.

  • emr-7.6.0-mais recente

  • emr-7.6.0-20241213

  • emr-7.6.0-spark-rapids-latest

  • emr-7.6.0-spark-rapids-20241213

  • emr-7.6.0-java11-latest

  • emr-7.6.0-java11-20241213

  • emr-7.6.0-java8-latest

  • emr-7.6.0-java8-20241213

  • emr-7.6.0-spark-rapids-java8-latest

  • emr-7.6.0-spark-rapids-java8-20241213

  • notebook-spark/emr-7.6.0-latest

  • notebook-spark/emr-7.6.0-20241213

  • notebook-spark/emr-7.6.0-spark-rapids-latest

  • notebook-spark/emr-7.6.0-spark-rapids-20241213

  • notebook-spark/emr-7.6.0-java11-latest

  • notebook-spark/emr-7.6.0-java11-20241213

  • notebook-spark/emr-7.6.0-java8-latest

  • notebook-spark/emr-7.6.0-java8-20241213

  • notebook-spark/emr-7.6.0-spark-rapids-java8-latest

  • notebook-spark/emr-7.6.0-spark-rapids-java8-20241213

  • notebook-python/emr-7.6.0-latest

  • notebook-python/emr-7.6.0-20241213

  • notebook-python/emr-7.6.0-spark-rapids-latest

  • notebook-python/emr-7.6.0-spark-rapids-20241213

  • notebook-python/emr-7.6.0-java11-latest

  • notebook-python/emr-7.6.0-java11-20241213

  • notebook-python/emr-7.6.0-java8-latest

  • notebook-python/emr-7.6.0-java8-20241213

  • notebook-python/emr-7.6.0-spark-rapids-java8-latest

  • notebook-python/emr-7.6.0-spark-rapids-java8-20241213

  • livy/emr-7.6.0-latest

  • livy/emr-7.6.0-20241213

  • livy/emr-7.6.0-java11-latest

  • livy/emr-7.6.0-java11-20241213

  • livy/emr-7.6.0-java8-latest

  • livy/emr-7.6.0-java8-20241213

Notas da versão

Notas de lançamento do Amazon EMR no EKS 7.6.0

  • Aplicações compatíveis: AWS SDK para Java 2.29.25 and 1.12.779, Apache Spark 3.5.3-amzn-0, Apache Hudi 0.15.0-amzn-3, Apache Iceberg 1.6.1-amzn-2, Delta 3.2.1-amzn-1, Apache Spark RAPIDS 24.10.1-amzn-0, Jupyter Enterprise Gateway 2.6.0, Apache Flink 1.20.0-amzn-0, Flink Operator 1.10.0-amzn-0

  • Componentes com suporte: aws-sagemaker-spark-sdk, emr-ddb, emr-goodies, emr-s3-select, emrfs, hadoop-client, hudi, hudi-spark, iceberg e spark-kubernetes.

  • Classificações de configuração com suporte

    Para uso com StartJobRune CreateManagedEndpoint APIs:

    Classificações Descrições

    core-site

    Altera os valores no arquivo core-site.xml do Hadoop.

    emrfs-site

    Alterar as configurações do EMRFS.

    spark-metrics

    Altera os valores no arquivo metrics.properties do Spark.

    spark-defaults

    Altera os valores no arquivo spark-defaults.conf do Spark.

    spark-env

    Alterar os valores no ambiente do Spark.

    spark-hive-site

    Altera os valores no arquivo hive-site.xml do Spark.

    spark-log4j2

    Altera os valores no arquivo log4j2.properties do Spark.

    emr-job-submitter

    Configuração para o pod de envio de trabalho.

    Para uso específico com CreateManagedEndpoint APIs:

    Classificações Descrições

    jeg-config

    Altera os valores no arquivo jupyter_enterprise_gateway_config.py do Jupyter Enterprise Gateway.

    jupyter-kernel-overrides

    Altera o valor da imagem do kernel no arquivo de um kernel do Jupyter especificado.

    As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como spark-hive-site.xml. Para obter mais informações, consulte Configure Applications.

Recursos notáveis

Os seguintes recursos estão incluídos na versão 7.6.0 do Amazon EMR no EKS:

  • Suporte de configuração de monitoramento para o operador do Apache Spark — A configuração de monitoramento permite que você configure facilmente o arquivamento de registros do seu aplicativo Spark e dos registros do operador no Amazon S3 ou na Amazon. CloudWatch Você pode escolher um ou ambos. Isso adiciona um sidecar do agente de log aos pods de operador, driver e executor do Spark e, posteriormente, encaminha os registros desses componentes para os coletores configurados. Para obter mais informações, consulte Como usar a configuração de monitoramento para monitorar o operador do Spark Kubernetes e as tarefas do Spark.

Alterações

As seguintes alterações estão incluídas na versão 7.6.0 do Amazon EMR no EKS:

  • Nenhuma alteração no lançamento.