Versionen von Amazon EMR in EKS 6.7.0 - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Versionen von Amazon EMR in EKS 6.7.0

Die folgenden Amazon-EMR-6.7.0-Versionen sind für Amazon EMR in EKS verfügbar. Wählen Sie eine bestimmte emr-6.7.0-XXXX-Version aus, um weitere Details wie das zugehörige Container-Image-Tag anzuzeigen.

Versionshinweise für Amazon EMR 6.7.0

  • Unterstützte Anwendungen – Spark 3.2.1-amzn-0, Jupyter Enterprise Gateway 2.6, Hudi 0.11-amzn-0, Iceberg 0.13.1.

  • Unterstützte Komponenten – aws-hm-client (Glue-Konnektor), aws-sagemaker-spark-sdk, emr-s3-select, emrfs, emr-ddb, hudi-spark.

  • Mit dem Upgrade auf JEG 2.6 ist die Kernelverwaltung jetzt asynchron, was bedeutet, dass JEG keine Transaktionen blockiert, wenn ein Kernelstart im Gange ist. Dies verbessert die Benutzererfahrung erheblich, da Folgendes bereitgestellt wird:

    • Fähigkeit, Befehle in aktuell laufenden Notebooks auszuführen, wenn andere Kernelstarts im Gange sind

    • Fähigkeit, mehrere Kernel gleichzeitig zu starten, ohne dass sich dies auf bereits laufende Kernel auswirkt

  • Unterstützte Konfigurationsklassifizierungen:

    Klassifizierungen Beschreibungen

    core-site

    Ändern Sie die Werte in der core-site.xml-Hadoop-Datei.

    emrfs-site

    Ändert die EMRFS-Einstellungen.

    spark-metrics

    Ändern Sie die Werte in der metrics.properties-Spark-Datei.

    spark-defaults

    Ändern Sie die Werte in der spark-defaults.conf-Spark-Datei.

    spark-env

    Ändert die Werte in der Spark-Umgebung.

    spark-hive-site

    Ändern Sie die Werte in der hive-site.xml-Spark-Datei.

    spark-log4j

    Ändern Sie die Werte in der log4j.properties-Spark-Datei.

    Mithilfe von Konfigurationsklassifizierungen können Sie Anwendungen anpassen. Diese entsprechen häufig einer XML-Konfigurationsdatei für die Anwendung, z. B. spark-hive-site.xml Weitere Informationen finden Sie unter Configuring Applications.

Gelöste Probleme

  • Amazon EMR in EKS 6.7 behebt ein Problem in 6.6 bei der Verwendung der Pod-Vorlagenfunktion von Apache Spark mit interaktiven Endpunkten. Das Problem trat in den Amazon EMR in EKS-Versionen 6.4, 6.5 und 6.6 auf. Sie können jetzt Pod-Vorlagen verwenden, um zu definieren, wie Ihre Spark-Treiber- und Ausführer-Pods starten, wenn Sie interaktive Endpunkte zur Ausführung interaktiver Analysen verwenden.

  • In früheren Versionen von Amazon EMR in EKS blockierte Jupyter Enterprise-Gateway-Transaktionen, wenn der Kernel gestartet wurde, was die Ausführung der aktuell laufenden Notebook-Sitzungen behinderte. Sie können jetzt Befehle in aktuell laufenden Notebooks ausführen, wenn andere Kernelstarts im Gange sind. Sie können auch mehrere Kernel gleichzeitig starten, ohne das Risiko einzugehen, die Konnektivität zu Kerneln zu verlieren, die bereits laufen.