Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
# Serverlose Release-Versionen von Amazon EMR
Eine Amazon EMR-Version ist eine Reihe von Open-Source-Anwendungen aus dem Big-Data-Ökosystem. Jede Version enthält Big-Data-Anwendungen, Komponenten und Funktionen, die Sie bei der Ausführung Ihres Jobs für die Bereitstellung und Konfiguration von Amazon EMR Serverless auswählen.
Stellen Sie mit Amazon EMR 6.6.0 und höher EMR Serverless bereit. Diese Bereitstellungsoption ist in früheren Amazon EMR-Release-Versionen nicht verfügbar. Wenn Sie Ihren Job einreichen, geben Sie eine der folgenden unterstützten Versionen an.
**Topics**
+ [`AWS runtime for Apache Spark`(emr-Spark-8.0-Vorschau)](release-version-emr-spark-8.0-preview.md)
+ [EMR Serverless7.12.0](release-version-7120.md)
+ [EMR Serverless7.11.0](release-version-7110.md)
+ [EMR Serverless7.10.0](release-version-7100.md)
+ [EMR Serverless7.9.0](release-version-790.md)
+ [EMR Serverless7.8.0](release-version-780.md)
+ [EMR Serverless7.7.0](release-version-770.md)
+ [EMR Serverless7.6.0](release-version-760.md)
+ [EMR Serverless7.5.0](release-version-750.md)
+ [EMR Serverless7.4.0](release-version-740.md)
+ [EMR Serverless7.3.0](release-version-730.md)
+ [EMR Serverless7.2.0](release-version-720.md)
+ [EMR Serverless7.1.0](release-version-710.md)
+ [EMR Serverless7.0.0](release-version-700.md)
+ [EMR Serverless6.15,0](release-version-6150.md)
+ [EMR Serverless6.14.0](release-version-6140.md)
+ [EMR Serverless6.13,0](release-version-6130.md)
+ [EMR Serverless6.12.0](release-version-6120.md)
+ [EMR Serverless6.11.0](release-version-6110.md)
+ [EMR Serverless6.10.0](release-version-6100.md)
+ [EMR Serverless6.9.0](release-version-690.md)
+ [EMR Serverless6.8.0](release-version-680.md)
+ [EMR Serverless6.7.0](release-version-670.md)
+ [EMR Serverless6.6.0](release-version-660.md)
# `AWS runtime for Apache Spark`(emr-Spark-8.0-Vorschau)
In der folgenden Tabelle sind die mit (emr-spark-8.0-preview) verfügbaren Anwendungsversionen aufgeführt. `AWS runtime for Apache Spark`
**Informationen zur Anwendungsversion**
| Anwendung | Version |
| --- | --- |
| Spark | 4.0.1-amzn-0 |
****`AWS runtime for Apache Spark`Versionshinweise für (emr-spark-8.0-preview)****
+ **Vorschauversion** — Dies ist eine Vorabversion von Apache Spark 4.0.1. `AWS runtime for Apache Spark` Diese Vorschau ist nur auf EMR Serverless verfügbar.
+ **Regionale Verfügbarkeit** — Diese Vorabversion ist in allen AWS Regionen verfügbar, in denen EMR Serverless verfügbar ist, außer in China und AWS GovCloud (USA).
+ **Informationen zur Anwendungsversion** — Diese Version wird mit den folgenden Anwendungsversionen ausgeliefert:
+ AWS SDK for Java 2.35.5, 1.12.792
+ Python **3.9**, 3.11, 3.12
+ Skala 2.13.16
+ AmazonCloudWatchAgent 1.300034.0-amzn-0
+ Delta 4.0.0-amzn-0-spark
+ Eisberg 1.10.0-amzn-spark-0
+ Diese Version wird standardmäßig mit Amazon Corretto **17 (basierend** auf OpenJDK) für Anwendungen geliefert, die Corretto 17 (JDK 17) unterstützen.
+ **Einschränkungen der Vorschauversion** — Die folgenden Funktionen sind in dieser Vorschauversion nicht verfügbar:
+ **Interaktive Funktionen und Integrationsfunktionen**: SageMaker Unified Studio, EMR Studio-Integration, Spark Connect, Livy und JupyterEnterpriseGateway werden nicht unterstützt.
+ **Tabellenformate und Zugriffskontrolle**: Hudi, Delta Universal Format und Fine-Grained Access Control (FGAC) mit Filtern und Operatoren auf Zeilen- oder Spaltenebene werden nicht unterstützt. DDL/DML
+ **Datenkonnektoren:, emr-Dynamodb- und Spark-Redshift-Konnektoren** spark-sql-kinesis sind nicht verfügbar.
+ **History Server**: Der Persistent Spark History Server ist in dieser Vorabversion nicht verfügbar. Benutzer können weiterhin auf die Live-Benutzeroberfläche von Spark zugreifen, um aktive serverlose Jobs in Echtzeit zu überwachen und zu debuggen.
+ **Spezialisierte Funktionen**: Materialisierte Ansichten sind nicht verfügbar.
+ **Vorschaufunktionen** — Sie können die folgenden Funktionen in dieser Vorschauversion testen. Diese Vorschauversion wird für Produktions-Workloads nicht empfohlen:
+ **SQL-Funktionen**: ANSI-SQL-Modus mit strengerer Typbehandlung, SQL PIPE-Syntax (\$1>) für Verkettungsoperationen, VARIANT-Datentyp für halbstrukturierte JSON-Daten, SQL-Scripting mit Kontrollflussanweisungen und Sitzungsvariablen sowie benutzerdefinierte SQL-Funktionen.
+ **Streaming-Verbesserungen**: Arbitrary Stateful Processing API v2 mit transformWithState Operator, State Data Source Reader für abfragbaren Streaming-Status (experimentell) und erweiterter Statusspeicher mit verbessertem RocksDB-Changelog-Checkpointing.
+ **Support für Tabellenformate**: Apache Iceberg v3 mit Unterstützung des VARIANT-Datentyps, Integration von AWS S3 Tables und Full Table Access (FTA) AWS Lake Formation für Iceberg-, Delta Lake- und Hive-Tabellen.
+ **Zusätzliche Dokumentation** — Zusätzliche Apache Spark-Dokumentation finden Sie in der Apache Spark [4.0.1-Release-Dokumentation](https://spark.apache.org/releases/spark-release-4-0-1.html).
Um mit der Vorschauversion von Apache Spark 4.0.1 zu beginnen, erstellen Sie mit der CLI eine serverlose EMR-Anwendung: AWS
```
aws emr-serverless create-application --type spark \
--release-label emr-spark-8.0-preview \
--region us-east-1 --name spark4-preview
```
# EMR Serverless7.12.0
In der folgenden Tabelle sind die mit EMR Serverless 7.12.0 verfügbaren Anwendungsversionen aufgeführt.
| Anwendung | Version |
| --- | --- |
| Apache Spark | 3.5.6 |
| Apache Hive | 3.1.3 |
| Apache Tez | 0.10.2 |
**EMR Serverless 7.12.0 Versionshinweise**
+ **Neue Features**
+ **Serverloser Speicher für EMR Serverless — Amazon EMR Serverless** führt mit EMR Version 7.12 und höher serverlosen Speicher ein, der die lokale Festplattenbereitstellung für Apache Spark-Workloads überflüssig macht. EMR Serverless verarbeitet automatisch Zwischendatenoperationen wie Shuffle ohne Speichergebühren. Serverloser Speicher entkoppelt Speicher von Rechenleistung, sodass Spark Mitarbeiter sofort freilassen kann, wenn sie inaktiv sind, anstatt sie aktiv zu halten, um temporäre Daten aufzubewahren. [Weitere Informationen finden Sie unter Serverloser Speicher.](https://docs.aws.amazon.com/emr/latest/EMR-Serverless-UserGuide/jobs-serverless-storage.html)
+ **Iceberg Materialized Views** — Ab Amazon EMR 7.12.0 unterstützt Amazon EMR Spark die Erstellung und Verwaltung von Iceberg Materialized Views (MV)
+ **Hudi Full Table Access** — Ab Amazon EMR 7.12.0 unterstützt Amazon EMR jetzt die Steuerung des vollständigen Tabellenzugriffs (FTA) für Apache Hudi in Apache Spark auf der Grundlage Ihrer in Lake Formation definierten Richtlinien. Diese Funktion ermöglicht Lese- und Schreibvorgänge von Ihren Amazon EMR Spark-Jobs aus in Lake Formation registrierten Tabellen, wenn die Jobrolle vollen Tabellenzugriff hat.
+ **Iceberg-Versionsupgrade** — Amazon EMR 7.12.0 unterstützt Apache Iceberg Version 1.10
# EMR Serverless7.11.0
In der folgenden Tabelle sind die mit EMR Serverless 7.11.0 verfügbaren Anwendungsversionen aufgeführt.
| Anwendung | Version |
| --- | --- |
| Apache Spark | 3.5.6 |
| Apache Hive | 3.1.3 |
| Apache Tez | 0.10.2 |
**EMR Serverless 7.11.0 Versionshinweise**
+ **Maximale Auftragsausführungszeit** — Der Höchstwert für `executionTimeoutMinutes` In `StartJobRun` Aktion für BATCH-Jobs beträgt ab dieser Version 7 Tage. `executionTimeoutMinutes`kann für Batch-Auftragsausführungen nicht mehr so eingestellt werden, dass es kein Timeout gibt. `0`
# EMR Serverless7.10.0
In der folgenden Tabelle sind die mit EMR Serverless 7.10.0 verfügbaren Anwendungsversionen aufgeführt.
| Anwendung | Version |
| --- | --- |
| Apache Spark | 3.5.5 |
| Apache Hive | 3.1.3 |
| Apache Tez | 0.10.2 |
**Versionshinweise zu EMR Serverless 7.10.0**
+ **Metriken für EMR Serverless** — Die Monitoring-Metriken wurden neu strukturiert, sodass sie sich auf die `ApplicationName` Dimensionen und konzentrieren. `JobName` Ältere Metriken werden künftig nicht mehr aktualisiert. Weitere Informationen finden Sie unter [Monitoring EMR Serverless Applications and Jobs](app-job-metrics.html).
# EMR Serverless7.9.0
In der folgenden Tabelle sind die mit EMR Serverless 7.9.0 verfügbaren Anwendungsversionen aufgeführt.
| Anwendung | Version |
| --- | --- |
| Apache Spark | 3.5.5 |
| Apache Hive | 3.1.3 |
| Apache Tez | 0.10.2 |
# EMR Serverless7.8.0
In der folgenden Tabelle sind die mit EMR Serverless 7.8.0 verfügbaren Anwendungsversionen aufgeführt.
| Anwendung | Version |
| --- | --- |
| Apache Spark | 3.5.4 |
| Apache Hive | 3.1.3 |
| Apache Tez | 0.10.2 |
# EMR Serverless7.7.0
In der folgenden Tabelle sind die mit EMR Serverless 7.7.0 verfügbaren Anwendungsversionen aufgeführt.
| Anwendung | Version |
| --- | --- |
| Apache Spark | 3.5.3 |
| Apache Hive | 3.1.3 |
| Apache Tez | 0.10.2 |
# EMR Serverless7.6.0
In der folgenden Tabelle sind die mit EMR Serverless 7.6.0 verfügbaren Anwendungsversionen aufgeführt.
| Anwendung | Version |
| --- | --- |
| Apache Spark | 3.5.3 |
| Apache Hive | 3.1.3 |
| Apache Tez | 0.10.2 |
# EMR Serverless7.5.0
In der folgenden Tabelle sind die mit EMR Serverless 7.5.0 verfügbaren Anwendungsversionen aufgeführt.
| Anwendung | Version |
| --- | --- |
| Apache Spark | 3.5.2 |
| Apache Hive | 3.1.3 |
| Apache Tez | 0.10.2 |
# EMR Serverless7.4.0
In der folgenden Tabelle sind die mit EMR Serverless 7.4.0 verfügbaren Anwendungsversionen aufgeführt.
| Anwendung | Version |
| --- | --- |
| Apache Spark | 3.5.2 |
| Apache Hive | 3.1.3 |
| Apache Tez | 0.10.2 |
# EMR Serverless7.3.0
In der folgenden Tabelle sind die mit EMR Serverless 7.3.0 verfügbaren Anwendungsversionen aufgeführt.
| Anwendung | Version |
| --- | --- |
| Apache Spark | 3.5.1 |
| Apache Hive | 3.1.3 |
| Apache Tez | 0.10.2 |
**Versionshinweise zu EMR Serverless 7.3.0**
+ **Job-Parallelität und Warteschlange mit EMR Serverless** — Job-Parallelität und Warteschlange sind standardmäßig aktiviert, wenn Sie eine neue EMR Serverless-Anwendung auf Amazon EMR Version 7.3.0 oder höher erstellen. Weitere Informationen finden Sie unter. Dieses Dokument beschreibt die ersten Schritte mit Parallelität und Warteschlangen und enthält auch eine Liste mit wichtigen Funktionen. [Parallelität von Aufträgen und Warteschlangen für eine serverlose EMR-Anwendung](applications-concurrency-queuing.md)
# EMR Serverless7.2.0
In der folgenden Tabelle sind die mit EMR Serverless 7.2.0 verfügbaren Anwendungsversionen aufgeführt.
| Anwendung | Version |
| --- | --- |
| Apache Spark | 3.5.1 |
| Apache Hive | 3.1.3 |
| Apache Tez | 0.10.2 |
**Versionshinweise zu EMR Serverless 7.2.0**
+ **Lake Formation mit EMR Serverless** — Sie können jetzt detaillierte Zugriffskontrollen auf Datenkatalogtabellen anwenden, die von S3 unterstützt werden. AWS Lake Formation Mit dieser Funktion können Sie Zugriffskontrollen auf Tabellen-, Zeilen-, Spalten- und Zellenebene für Leseabfragen innerhalb Ihrer EMR Serverless Spark-Jobs konfigurieren. Weitere Informationen finden Sie unter [Verwendung von EMR Serverless mit AWS Lake Formation für eine differenzierte Zugriffskontrolle](emr-serverless-lf-enable.md) und [Überlegungen und Einschränkungen](emr-serverless-lf-enable-considerations.md).
# EMR Serverless7.1.0
In der folgenden Tabelle sind die mit EMR Serverless 7.1.0 verfügbaren Anwendungsversionen aufgeführt.
| Anwendung | Version |
| --- | --- |
| Apache Spark | 3.5.0 |
| Apache Hive | 3.1.3 |
| Apache Tez | 0.10.2 |
# EMR Serverless7.0.0
In der folgenden Tabelle sind die mit EMR Serverless 7.0.0 verfügbaren Anwendungsversionen aufgeführt.
| Anwendung | Version |
| --- | --- |
| Apache Spark | 3.5.0 |
| Apache Hive | 3.1.3 |
| Apache Tez | 0.10.2 |
# EMR Serverless6.15,0
In der folgenden Tabelle sind die mit EMR Serverless 6.15.0 verfügbaren Anwendungsversionen aufgeführt.
| Anwendung | Version |
| --- | --- |
| Apache Spark | 3.4.1 |
| Apache Hive | 3.1.3 |
| Apache Tez | 0.10.2 |
**Versionshinweise zu EMR Serverless 6.15.0**
+ **TLS-Unterstützung** — Mit den Versionen 6.15.0 und höher von Amazon EMR Serverless können Sie die mit Mutual-TLS verschlüsselte Kommunikation zwischen Workern in Ihren Spark-Auftragsausführungen aktivieren. Wenn diese Option aktiviert ist, generiert EMR Serverless automatisch ein eindeutiges Zertifikat für jeden Worker, das es im Rahmen von Jobläufen bereitstellt, die Mitarbeiter während des TLS-Handshakes verwenden, um sich gegenseitig zu authentifizieren und einen verschlüsselten Kanal für die sichere Verarbeitung von Daten einzurichten. [Weitere Informationen zur Mutual-TLS-Verschlüsselung finden Sie unter Verschlüsselung zwischen Mitarbeitern.](https://docs.aws.amazon.com/emr/latest/EMR-Serverless-UserGuide/interworker-encryption.html)
# EMR Serverless6.14.0
In der folgenden Tabelle sind die mit EMR Serverless 6.14.0 verfügbaren Anwendungsversionen aufgeführt.
| Anwendung | Version |
| --- | --- |
| Apache Spark | 3.4.1 |
| Apache Hive | 3.1.3 |
| Apache Tez | 0.10.2 |
# EMR Serverless6.13,0
In der folgenden Tabelle sind die mit EMR Serverless 6.13.0 verfügbaren Anwendungsversionen aufgeführt.
| Anwendung | Version |
| --- | --- |
| Apache Spark | 3.4.1 |
| Apache Hive | 3.1.3 |
| Apache Tez | 0.10.2 |
# EMR Serverless6.12.0
In der folgenden Tabelle sind die mit EMR Serverless 6.12.0 verfügbaren Anwendungsversionen aufgeführt.
| Anwendung | Version |
| --- | --- |
| Apache Spark | 3.4.0 |
| Apache Hive | 3.1.3 |
| Apache Tez | 0.10.2 |
# EMR Serverless6.11.0
In der folgenden Tabelle sind die mit EMR Serverless 6.11.0 verfügbaren Anwendungsversionen aufgeführt.
| Anwendung | Version |
| --- | --- |
| Apache Spark | 3.3.2 |
| Apache Hive | 3.1.3 |
| Apache Tez | 0.10.2 |
**EMR Serverless 6.11.0 Versionshinweise**
+ **[Greifen Sie auf S3-Ressourcen in anderen Konten](jobs-s3-access.md#jobs-s3-access-how-to-assumed-role-multiple)** zu — Mit den Versionen 6.11.0 und höher können Sie mehrere IAM-Rollen konfigurieren, die beim Zugriff auf Amazon S3 S3-Buckets in verschiedenen AWS Konten von EMR Serverless übernommen werden.
# EMR Serverless6.10.0
In der folgenden Tabelle sind die mit EMR Serverless 6.10.0 verfügbaren Anwendungsversionen aufgeführt.
| Anwendung | Version |
| --- | --- |
| Apache Spark | 3.3.1 |
| Apache Hive | 3.1.3 |
| Apache Tez | 0.10.2 |
**Versionshinweise zu EMR Serverless 6.10.0**
+ Für serverlose EMR-Anwendungen mit Version 6.10.0 oder höher ist der Standardwert für die `spark.dynamicAllocation.maxExecutors` Eigenschaft. `infinity` Frühere Versionen sind standardmäßig auf. `100` Weitere Informationen finden Sie unter [Eigenschaften von Spark-Jobs](jobs-spark.md#spark-defaults).
# EMR Serverless6.9.0
In der folgenden Tabelle sind die mit EMR Serverless 6.9.0 verfügbaren Anwendungsversionen aufgeführt.
| Anwendung | Version |
| --- | --- |
| Apache Spark | 3.3.0 |
| Apache Hive | 3.1.3 |
| Apache Tez | 0.10.2 |
**Versionshinweise zu EMR Serverless 6.9.0**
+ Die Amazon-Redshift-Integration für Apache Spark ist in den Amazon-EMR-Versionen 6.9.0 und höher enthalten. Die native Integration war bisher ein Open-Source-Tool und ist ein Spark-Konnektor, mit dem Sie Apache-Spark-Anwendungen erstellen können, die Daten in Amazon Redshift und Amazon Redshift Serverless lesen und in diese schreiben. Weitere Informationen finden Sie unter [Verwenden der Amazon Redshift Redshift-Integration für Apache Spark auf Amazon EMR Serverless](emr-spark-redshift.md).
+ Die Version 6.9.0 von EMR Serverless bietet Unterstützung für die AWS Graviton2-Architektur (arm64). Sie können den `architecture` Parameter für `create-application` und `update-application` APIs verwenden, um die arm64-Architektur auszuwählen. Weitere Informationen finden Sie unter [Optionen für die serverlose Architektur von Amazon EMR](architecture.md).
+ Sie können jetzt Amazon DynamoDB-Tabellen direkt aus Ihren EMR Serverless Spark- und Hive-Anwendungen exportieren, importieren, abfragen und verbinden. Weitere Informationen finden Sie unter [Mit Amazon EMR Serverless eine Verbindung zu DynamoDB herstellen](using-ddb-connector.md).
**Bekannte Probleme**
+ Wenn Sie die Amazon Redshift Redshift-Integration für Apache Spark verwenden und eine Zeit, Timetz, Zeitstempel oder Zeitstempeltz mit Mikrosekundengenauigkeit im Parquet-Format haben, rundet der Konnektor die Zeitwerte auf den nächsten Millisekundenwert. Um das Problem zu umgehen, verwenden Sie den `unload_s3_format`-Formatparameter-Text-Unload.
# EMR Serverless6.8.0
In der folgenden Tabelle sind die mit EMR Serverless 6.8.0 verfügbaren Anwendungsversionen aufgeführt.
| Anwendung | Version |
| --- | --- |
| Apache Spark | 3.3.0 |
| Apache Hive | 3.1.3 |
| Apache Tez | 0.9.2 |
# EMR Serverless6.7.0
In der folgenden Tabelle sind die mit EMR Serverless 6.7.0 verfügbaren Anwendungsversionen aufgeführt.
| Anwendung | Version |
| --- | --- |
| Apache Spark | 3.2.1 |
| Apache Hive | 3.1.3 |
| Apache Tez | 0.9.2 |
## Engine-spezifische Änderungen, Verbesserungen und behobene Probleme
In der folgenden Tabelle ist eine neue motorspezifische Funktion aufgeführt.
| Änderungen | Description |
| --- | --- |
| Feature | Der Tez-Scheduler unterstützt jetzt das Preemptive von Tez-Aufgaben anstelle des Preemptivs von Containern |
# EMR Serverless6.6.0
In der folgenden Tabelle sind die mit EMR Serverless 6.6.0 verfügbaren Anwendungsversionen aufgeführt.
| Anwendung | Version |
| --- | --- |
| Apache Spark | 3.2.0 |
| Apache Hive | 3.1.2 |
| Apache Tez | 0.9.2 |
**Erste Versionshinweise zu EMR Serverless**
+ EMR Serverless unterstützt die Spark-Konfigurationsklassifizierung. `spark-defaults` Diese Klassifizierung ändert Werte in der `spark-defaults.conf` XML-Datei von Spark. Mithilfe von Konfigurationsklassifizierungen können Sie Anwendungen anpassen. Weitere Informationen finden Sie unter [Anwendungen konfigurieren](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps.html).
+ EMR Serverless unterstützt die Hive-Konfigurationsklassifizierungen`hive-site`,, und`tez-site`. `emrfs-site` `core-site` Diese Klassifizierung kann die Werte in der Datei von Hive, der `hive-site.xml` Datei von Tez, den EMRFS-Einstellungen von Amazon EMR bzw. der `tez-site.xml` Hadoop-Datei ändern. `core-site.xml` Mithilfe von Konfigurationsklassifizierungen können Sie Anwendungen anpassen. [Weitere Informationen finden Sie unter Anwendungen konfigurieren.](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps.html)
**Engine-spezifische Änderungen, Verbesserungen und behobene Probleme**
+ In der folgenden Tabelle sind die Backports von Hive und Tez aufgeführt.
**Änderungen an Hive und Tez**
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/de_de/emr/latest/EMR-Serverless-UserGuide/release-version-660.html)