Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
AWS Laufzeit für Apache Spark (emr-spark-8.0.0) auf EKS
Auf dieser Seite werden die neuen und aktualisierten Funktionen für Amazon EMR beschrieben, die spezifisch für die Bereitstellung von Amazon EMR in EKS sind. Einzelheiten zur Ausführung von Amazon EMR auf Amazon EC2 und zur Amazon EMR Spark 8.0.0-Version im Allgemeinen finden Sie unter AWS Runtime for Apache Spark (emr-spark-8.0.0) im Amazon EMR-Versionshandbuch.
AWS Laufzeit für Apache Spark (emr-spark-8.0.0) auf EKS
Die folgenden emr-spark-8.0.0-Versionen sind als Runtime für Apache Spark auf EKS verfügbar. AWS
spark/emr-spark-8.0.0-latest
spark/emr-spark-8.0.0-20260421
notebook-spark/emr-spark-8.0.0-latest
notebook-spark/emr-spark-8.0.0-20260421
notebook-python/emr-spark-8.0.0-latest
notebook-python/emr-spark-8.0.0-20260421
livy/emr-spark-8.0.0-latest
livy/emr-spark-8.0.0-20260421
Versionshinweise
Versionshinweise für AWS Runtime für Apache Spark (emr-spark-8.0.0) auf EKS:
-
Unterstützte Anwendungen – AWS SDK for Java 2.41.32, Apache Spark 4.0.2-amzn-0, Apache Hudi 1.1.0-amzn-0, Apache Iceberg 1.10.1-amzn-0, Delta Lake 4.0.0-amzn-1-spark
-
Unterstützte Komponenten ‐
emr-ddb,,,,emr-goodies,hadoop-client.hudihudi-sparkicebergspark-kubernetes -
Unterstützte Konfigurationsklassifizierungen
Zur Verwendung mit StartJobRunund CreateManagedEndpointAPIs:
Klassifizierungen Beschreibungen core-siteÄndern Sie die Werte in der
core-site.xml-Hadoop-Datei.spark-metricsÄndern Sie die Werte in der
metrics.properties-Spark-Datei.spark-defaultsÄndern Sie die Werte in der
spark-defaults.conf-Spark-Datei.spark-envÄndert die Werte in der Spark-Umgebung.
spark-hive-siteÄndern Sie die Werte in der
hive-site.xml-Spark-Datei.spark-log4j2Ändern Sie die Werte in der
log4j2.properties-Spark-Datei.emr-job-submitterKonfiguration für den Auftragsübermittler-Pod.
Speziell zur Verwendung mit CreateManagedEndpointAPIs:
Klassifizierungen Beschreibungen jeg-configÄndern Sie die Werte in der Jupyter-Enterprise-Gateway-Datei
jupyter_enterprise_gateway_config.py.jupyter-kernel-overridesÄndern Sie den Wert für das Kernel-Image in der Jupyter-Kernel-Spec-Datei.
Mithilfe von Konfigurationsklassifizierungen können Sie Anwendungen anpassen. Diese entsprechen häufig einer XML-Konfigurationsdatei für die Anwendung, z. B.
spark-hive-site.xmlWeitere Informationen finden Sie unter Konfigurieren von Anwendungen.
Änderungen und Funktionen
Die folgenden Funktionen sind in der AWS Runtime-Version emr-spark-8.0.0 für Apache Spark auf EKS enthalten:
-
Apache Spark 4.0.2 GA — Erste produktionsreife Version von Spark 4.x auf Amazon EMR auf EKS mit ANSI-SQL-Modus, SQL PIPE-Syntax, VARIANT-Datentyp, SQL-Scripting und Streaming-Verbesserungen.
-
Python 3.11-Standard — Python 3.11 ist der Standard für PySpark und Spark-Workloads. Python 3.12 und 3.13 sind ebenfalls verfügbar.
