View a markdown version of this page

AWS tempo de execução para Apache Spark (emr-spark-8.0.0) no EKS - Amazon EMR
VersõesNotas da versãoAlterações e recursos

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

AWS tempo de execução para Apache Spark (emr-spark-8.0.0) no EKS

Esta página descreve a funcionalidade nova e atualizada do Amazon EMR que é específica para a implantação do Amazon EMR no EKS. Para obter detalhes sobre o Amazon EMR em execução no Amazon EC2 e sobre a versão do Amazon EMR Spark 8.0.0 em geral, AWS consulte o tempo de execução do Apache Spark (emr-spark-8.0.0) no Guia de lançamento do Amazon EMR.

AWS tempo de execução para Apache Spark (emr-spark-8.0.0) no EKS

As seguintes versões do emr-spark-8.0.0 estão disponíveis para AWS execução do Apache Spark no EKS.

  • spark/emr-spark-8.0.0-latest

  • spark/emr-spark-8.0.0-20260421

  • notebook-spark/emr-spark-8.0.0-latest

  • notebook-spark/emr-spark-8.0.0-20260421

  • notebook-python/emr-spark-8.0.0-latest

  • notebook-python/emr-spark-8.0.0-20260421

  • livy/emr-spark-8.0.0-latest

  • livy/emr-spark-8.0.0-20260421

Notas da versão

Notas de lançamento para o AWS tempo de execução do Apache Spark (emr-spark-8.0.0) no EKS:

  • Aplicações compatíveis: AWS SDK for Java 2.41.32, Apache Spark 4.0.2-amzn-0, Apache Hudi 1.1.0-amzn-0, Apache Iceberg 1.10.1-amzn-0, Delta Lake 4.0.0-amzn-1-spark

  • Componentes suportados ‐emr-ddb,emr-goodies,hadoop-client,hudi,hudi-spark,iceberg,spark-kubernetes.

  • Classificações de configuração com suporte

    Para uso com StartJobRun CreateManagedEndpointAPIs:

    Classificações Descrições

    core-site

    Altera os valores no arquivo core-site.xml do Hadoop.

    spark-metrics

    Altera os valores no arquivo metrics.properties do Spark.

    spark-defaults

    Altera os valores no arquivo spark-defaults.conf do Spark.

    spark-env

    Alterar os valores no ambiente do Spark.

    spark-hive-site

    Altera os valores no arquivo hive-site.xml do Spark.

    spark-log4j2

    Altera os valores no arquivo log4j2.properties do Spark.

    emr-job-submitter

    Configuração para o pod de envio de trabalho.

    Para uso específico com CreateManagedEndpointAPIs:

    Classificações Descrições

    jeg-config

    Altera os valores no arquivo jupyter_enterprise_gateway_config.py do Jupyter Enterprise Gateway.

    jupyter-kernel-overrides

    Altera o valor da imagem do kernel no arquivo de um kernel do Jupyter especificado.

    As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como spark-hive-site.xml. Para obter mais informações, consulte Configure Applications.

Alterações e recursos

Os seguintes recursos estão incluídos na versão emr-spark-8.0.0 do AWS runtime para Apache Spark no EKS:

  • Apache Spark 4.0.2 GA — Primeira versão pronta para produção do Spark 4.x no Amazon EMR no EKS, com modo ANSI SQL, sintaxe SQL PIPE, tipo de dados VARIANT, scripts SQL e aprimoramentos de streaming.

  • Python 3.11 padrão — Python 3.11 é o padrão para cargas de trabalho do Spark. PySpark Python 3.12 e 3.13 também estão disponíveis.