View a markdown version of this page

AWS Laufzeit für Apache Spark (emr-spark-8.0.0) auf EKS - Amazon EMR
VersionenVersionshinweiseÄnderungen und Funktionen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

AWS Laufzeit für Apache Spark (emr-spark-8.0.0) auf EKS

Auf dieser Seite werden die neuen und aktualisierten Funktionen für Amazon EMR beschrieben, die spezifisch für die Bereitstellung von Amazon EMR in EKS sind. Einzelheiten zur Ausführung von Amazon EMR auf Amazon EC2 und zur Amazon EMR Spark-Version 8.0.0 im Allgemeinen finden Sie unter AWS Runtime for Apache Spark (emr-spark-8.0.0) im Amazon EMR-Versionshandbuch.

AWS Laufzeit für Apache Spark (emr-spark-8.0.0) auf EKS

Die folgenden emr-spark-8.0.0-Versionen sind zur Laufzeit für Apache Spark auf EKS verfügbar. AWS Wählen Sie eine bestimmte EMR-Spark-8.0.0-xxxx-Version aus, um weitere Details wie das zugehörige Container-Image-Tag anzuzeigen.

Spark releases

Die folgenden emr-spark-8.0.0-Versionen sind zur Laufzeit von Apache Spark auf EKS verfügbar, wenn Sie Spark-Anwendungen ausführen. AWS Wählen Sie eine spark/ Version aus, um Details wie das Release-Label und das Container-Image-Tag anzuzeigen. Die livy/ Varianten notebook-spark/notebook-python/, und verwenden dasselbe Release-Label-Format (z. B.emr-spark-8.0.0-latest) mit dem entsprechenden Container-Image-Präfix.

  • emr-spark-8.0.0-latest

  • emr-spark-8.0.0-20260421

  • notebook-spark/emr-spark-8.0.0-latest

  • notebook-spark/emr-spark-8.0.0-20260421

  • notebook-python/emr-spark-8.0.0-latest

  • notebook-python/emr-spark-8.0.0-20260421

  • livy/emr-spark-8.0.0-latest

  • livy/emr-spark-8.0.0-20260421

Versionshinweise

Versionshinweise für AWS Runtime für Apache Spark (emr-spark-8.0.0) auf EKS:

  • Unterstützte Anwendungen – AWS SDK for Java 2.41.32, Apache Spark 4.0.2-amzn-0, Apache Hudi 1.1.0-amzn-0, Apache Iceberg 1.10.1-amzn-0, Delta Lake 4.0.0-amzn-1-spark

  • Unterstützte Komponenten ‐emr-ddb,,,,emr-goodies,hadoop-client. hudi hudi-spark iceberg spark-kubernetes

  • Unterstützte Konfigurationsklassifizierungen

    Zur Verwendung mit StartJobRun und CreateManagedEndpoint APIs:

    Klassifizierungen Beschreibungen

    core-site

    Ändern Sie die Werte in der core-site.xml-Hadoop-Datei.

    spark-metrics

    Ändern Sie die Werte in der metrics.properties-Spark-Datei.

    spark-defaults

    Ändern Sie die Werte in der spark-defaults.conf-Spark-Datei.

    spark-env

    Ändert die Werte in der Spark-Umgebung.

    spark-hive-site

    Ändern Sie die Werte in der hive-site.xml-Spark-Datei.

    spark-log4j2

    Ändern Sie die Werte in der log4j2.properties-Spark-Datei.

    emr-job-submitter

    Konfiguration für den Auftragsübermittler-Pod.

    Zur speziellen Verwendung mit CreateManagedEndpoint APIs:

    Klassifizierungen Beschreibungen

    jeg-config

    Ändern Sie die Werte in der Jupyter-Enterprise-Gateway-Datei jupyter_enterprise_gateway_config.py.

    jupyter-kernel-overrides

    Ändern Sie den Wert für das Kernel-Image in der Jupyter-Kernel-Spec-Datei.

    Mithilfe von Konfigurationsklassifizierungen können Sie Anwendungen anpassen. Diese entsprechen häufig einer XML-Konfigurationsdatei für die Anwendung, z. B. spark-hive-site.xml Weitere Informationen finden Sie unter Konfigurieren von Anwendungen.

Änderungen und Funktionen

Die folgenden Funktionen sind in der AWS Runtime-Version emr-spark-8.0.0 für Apache Spark auf EKS enthalten:

  • Apache Spark 4.0.2 GA — Erste produktionsreife Version von Spark 4.x auf Amazon EMR auf EKS, mit ANSI-SQL-Modus, SQL-PIPE-Syntax, VARIANT-Datentyp, SQL-Skripting und Streaming-Verbesserungen.

  • Python 3.11-Standard — Python 3.11 ist der Standard für Spark-Workloads. PySpark Python 3.12 und 3.13 sind ebenfalls verfügbar.