View a markdown version of this page

AWS runtime per Apache Spark (emr-spark-8.0.0) su EKS - Amazon EMR
RilasciNote di rilascioModifiche e funzionalità

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

AWS runtime per Apache Spark (emr-spark-8.0.0) su EKS

Questa pagina descrive la funzionalità nuova e aggiornata di Amazon EMR specifica per l'implementazione di Amazon EMR su EKS. Per dettagli su Amazon EMR in esecuzione su Amazon EC2 e sulla versione Amazon EMR Spark 8.0.0 in generale, AWS consulta il runtime per Apache Spark (emr-spark-8.0.0) nella Amazon EMR Release Guide.

AWS runtime per Apache Spark (emr-spark-8.0.0) su EKS

Le seguenti versioni di emr-spark-8.0.0 sono disponibili per il runtime per Apache Spark su EKS. AWS

  • spark/emr-spark-8.0.0-latest

  • spark/emr-spark-8.0.0-20260421

  • notebook-spark/emr-spark-8.0.0-latest

  • notebook-spark/emr-spark-8.0.0-20260421

  • notebook-python/emr-spark-8.0.0-latest

  • notebook-python/emr-spark-8.0.0-20260421

  • livy/emr-spark-8.0.0-latest

  • livy/emr-spark-8.0.0-20260421

Note di rilascio

Note di rilascio per il AWS runtime di Apache Spark (emr-spark-8.0.0) su EKS:

  • Applicazioni supportate ‐ AWS SDK for Java 2.41.32, Apache Spark 4.0.2-amzn-0, Apache Hudi 1.1.0-amzn-0, Apache Iceberg 1.10.1-amzn-0, Delta Lake 4.0.0-amzn-1-spark

  • Componenti supportati ‐,,,,,. emr-ddb emr-goodies hadoop-client hudi hudi-spark iceberg spark-kubernetes

  • Classificazioni di configurazione supportate

    Da utilizzare con StartJobRune CreateManagedEndpointAPI:

    Classificazioni Descrizioni

    core-site

    Modifica i valori nel file Hadoop core-site.xml.

    spark-metrics

    Modifica i valori nel file Spark metrics.properties.

    spark-defaults

    Modifica i valori nel file Spark spark-defaults.conf.

    spark-env

    Modifica i valori nell'ambiente Spark.

    spark-hive-site

    Modifica i valori nel file Spark hive-site.xml.

    spark-log4j2

    Modifica i valori nel file Spark log4j2.properties.

    emr-job-submitter

    Configurazione per il pod del mittente di processi.

    Da utilizzare specificamente con le CreateManagedEndpointAPI:

    Classificazioni Descrizioni

    jeg-config

    Modifica i valori nel file jupyter_enterprise_gateway_config.py Jupyter Enterprise Gateway.

    jupyter-kernel-overrides

    Modifica il valore per l'immagine del kernel nel file Jupyter Kernel Spec.

    Le classificazioni di configurazione consentono di personalizzare le applicazioni. Spesso corrispondono a un file XML di configurazione per l'applicazione, ad esempio spark-hive-site.xml. Per ulteriori informazioni, consulta la sezione Configurazione delle applicazioni.

Modifiche e funzionalità

Le seguenti funzionalità sono incluse nella versione emr-spark-8.0.0 di AWS runtime per Apache Spark su EKS:

  • Apache Spark 4.0.2 GA — Prima versione pronta per la produzione di Spark 4.x su Amazon EMR su EKS, con modalità ANSI SQL, sintassi SQL PIPE, tipo di dati VARIANT, scripting SQL e miglioramenti dello streaming.

  • Python 3.11 predefinito — Python 3.11 è l'impostazione predefinita per i carichi di lavoro Spark. PySpark Sono disponibili anche Python 3.12 e 3.13.