Migration von Aufträgen von AWS Glue für Spark zur AWS Glue-Version 5.0

Apache-Spark-Update von 3.3.0 in AWS Glue 4.0 auf 3.5.4 in AWS Glue 5.0. Siehe Wesentliche Verbesserungen von Spark 3.3.0 zu Spark 3.5.4.

Native differenzierte Zugriffskontrolle (FGAC) von Spark mit Lake Formation. Dazu gehört FGAC für Iceberg-, Delta- und Hudi-Tabellen. Weitere Informationen finden Sie unter Verwenden von AWS Glue mit AWS Lake Formation für die differenzierte Zugriffskontrolle.

Beachten Sie die folgenden Überlegungen oder Einschränkungen für Spark-natives FGAC:

Eine vollständige Liste der Einschränkungen und Überlegungen bei der Verwendung von Spark-nativem FGAC finden Sie unter Überlegungen und Einschränkungen.

Unterstützung für Amazon S3 Access Grants als skalierbare Zugriffskontrolllösung für Ihre Amazon-S3-Daten von AWS Glue. Weitere Informationen finden Sie unter Verwenden von Amazon S3 Access Grants mit AWS Glue.

Open Table Formats (OTF) wurden auf Hudi 0.15.0, Iceberg 1.7.1 und Delta Lake 3.3.0 aktualisiert.

Unterstützung für Amazon SageMaker Unified Studio.

Integration von Amazon SageMaker Lakehouse und Datenabstraktion. Weitere Informationen finden Sie unter Abfragen von Metastore-Datenkatalogen über AWS Glue ETL.

Unterstützung für die Installation zusätzlicher Python-Bibliotheken mithilfe von requirements.txt. Weitere Informationen finden Sie unter Installation zusätzlicher Python-Bibliotheken in AWS Glue 5.0 oder höher mit requirements.txt.

AWS Glue 5.0 unterstützt die Datenherkunft in Amazon DataZone. Sie können AWS Glue so konfigurieren, dass während der Ausführung von Spark-Aufträgen automatisch Herkunftsinformationen erfasst und die Herkunftsereignisse zur Visualisierung in Amazon DataZone gesendet werden. Weitere Informationen finden Sie unter Data lineage in Amazon DataZone.

Um dies in der AWS Glue-Konsole zu konfigurieren, aktivieren Sie Herkunftsereignisse generieren und geben Sie Ihre Domain-ID für Amazon DataZone auf der Registerkarte Auftragsdetails ein.

Alternativ können Sie den folgenden Auftragsparameter angeben (geben Sie Ihre DataZone-Domain-ID an):

Connector- und JDBC-Treiber-Updates. Weitere Informationen erhalten Sie unter Anhang B: Aktualisierungen von JDBC-Treibern und Anhang C: Konnektor-Upgrades.

Java-Update von 8 auf 17.

Erhöhung des Speicherplatzes für G.1X- und G.2X-Worker von AWS Glue und Erhöhung des Festplattenspeichers auf 94 GB bzw. 138 GB. Darüber hinaus sind die neuen Worker-Typen G.12X und G.16X sowie speicheroptimierte R.1X, R.2X, R.4X, R.8X in AWS Glue 4.0 und späteren Versionen verfügbar. Weitere Informationen finden Sie unter Aufträge.

Unterstützung für AWS SDK für Java, Version 2 – AWS Glue-5.0-Aufträge können die Java-Versionen 1.12.569 oder 2.28.8 verwenden, wenn der Auftrag v2 unterstützt. Das AWS SDK für Java 2.x ist eine Neufassung der Version-1.x-Codebasis. Sie basiert auf Java 8+ und fügt mehrere häufig angeforderte Funktionen hinzu. Dies umfasst die Unterstützung von blockierungsfreiem E/A und die Möglichkeit, zur Laufzeit eine andere HTTP-Implementierung einzubinden. Weitere Informationen, einschließlich eines Migrationshandbuchs von SDK für Java v1 zu v2, finden Sie im Handbuch AWS SDK für Java, Version 2.

Wenn in AWS Glue 5.0 das S3A-Dateisystem verwendet wird und weder „fs.s3a.endpoint“ noch „fs.s3a.endpoint.region“ festgelegt sind, ist die von S3A verwendete Standardregion „us-east-2“. Dies kann zu Problemen wie Timeout-Fehlern beim S3-Upload führen, insbesondere bei VPC-Aufträgen. Um die durch diese Änderung verursachten Probleme zu minimieren, legen Sie die Spark-Konfiguration „fs.s3a.endpoint.region“ fest, wenn Sie das S3A-Dateisystem in AWS Glue 5.0 verwenden.

Differenzierte Zugriffskontrolle von Lake Formation (FGAC)

Lake Formation – vollständiger Tabellenzugriff (FTA)

Der vektorisierte SIMD-CSV-Reader wird nicht unterstützt.

Die kontinuierliche Protokollierung in der Ausgabeprotokollgruppe wird nicht unterstützt. Verwenden Sie stattdessen die Protokollgruppe error.

Die AWS Glue-Auftragsausführungs-Erkenntnisse job-insights-rule-driver sind veraltet. Der Protokollstream job-insights-rca-driver befindet sich jetzt in der Fehlerprotokollgruppe.

Athena-basierte benutzerdefinierte/Marketplace-Connectors werden nicht unterstützt.

Connectors für Adobe Marketo Engage, Facebook Ads, Google Ads, Google Analytics 4, Google Sheets, Hubspot, Instagram Ads, Intercom, Jira Cloud, Oracle NetSuite, Salesforce, Salesforce Marketing Cloud, Salesforce Marketing Cloud Account Engagement, SAP OData, ServiceNow, Slack, Snapchat Ads, Stripe, Zendesk und Zoho CRM werden nicht unterstützt.

Benutzerdefinierte log4j-Eigenschaften werden in AWS Glue 5.0 nicht unterstützt.

Python-Client für Spark Connect (SPARK-39375).

Implementierung der Unterstützung von STANDARD-Werten für Spalten in Tabellen (SPARK-38334).

Unterstützung von „lateralen Alias-Referenz in Spalten“ (SPARK-27561).

Hardening der SQLSTATE-Nutzung für Fehlerklassen (SPARK-41994).

Standardmäßige Aktivierung von Bloom-Filter-Joins (SPARK-38841).

Verbesserte Skalierbarkeit der Spark-Benutzeroberfläche und Treiberstabilität für große Anwendungen (SPARK-41053).

Asynchrone Fortschrittsverfolgung beim strukturierten Streaming (SPARK-39591).

Beliebige zustandsbehaftete Python-Verarbeitung beim strukturierten Streaming (SPARK-40434).

Verbesserungen der Pandas-API-Abdeckung (SPARK-42882) und Unterstützung von NumPy-Eingaben in PySpark (SPARK-39405).

Bereitstellung eines Speicher-Profilers für benutzerdefinierte PySpark-Funktionen (SPARK-40281).

Implementierung des PyTorch-Distributors (SPARK-41589).

Veröffentlichung von SBOM-Artefakten (SPARK-41893).

Unterstützung einer reinen IPv6-Umgebung (SPARK-39457).

Benutzerdefinierter K8s-Scheduler (Apache YuniKorn und Volcano) GA (SPARK-42802).

Scala- und Go-Client-Unterstützung in Spark Connect (SPARK-42554) und (SPARK-43351).

PyTorch-basierte verteilte ML-Unterstützung für Spark Connect (SPARK-42471).

Strukturierte Streaming-Unterstützung für Spark Connect in Python und Scala (SPARK-42938).

Pandas-API-Unterstützung für den Python Spark Connect Client (SPARK-42497).

Einführung von Arrow-Python-UDFs (SPARK-40307).

Unterstützung benutzerdefinierter Python-Tabellenfunktionen (SPARK-43798).

Migration von PySpark-Fehlern in Fehlerklassen (SPARK-42986).

PySpark-Testframework (SPARK-44042).

Unterstützung für Datasketches HllSketch hinzugefügt (SPARK-16484).

Verbesserung der integrierten SQL-Funktion (SPARK-41231).

IDENTIFIER-Klausel (SPARK-43205).

Integration von SQL-Funktionen in Scala, Python und R API (SPARK-43907).

Unterstützung für benannte Argumente für SQL-Funktionen hinzugefügt (SPARK-43922).

Vermeidung unnötiger Aufgabenwiederholungen auf stillgelegten Executors, die bei der Migration von Shuffle-Daten verloren gehen (SPARK-41469).

Verteiltes ML <> Spark Connect (SPARK-42471).

DeepSpeed-Distributor (SPARK-44264).

Implementierung von Changelog-Checkpoints für den RocksDB-State-Store (SPARK-43421).

Einführung der Wasserzeichen-Weitergabe zwischen Operatoren (SPARK-42376).

Einführung von dropDuplicatesWithinWatermark (SPARK-42931).

Verbesserungen der Speicherverwaltung des Providers für RocksDB-State-Store (SPARK-43311).

Wählen Sie in AWS Glue Studio Glue 5.0 - Supports Spark 3.5.4, Scala 2, Python 3 in Glue version aus.

Wählen Sie in der API 5.0 im GlueVersion-Parameter in der UpdateJob-API-Operation aus.

Wählen Sie in der Konsole Spark 3.5.4, Python 3 (Glue Version 5.0) or Spark 3.5.4, Scala 2 (Glue Version 5.0) in der Glue version aus.

Wählen Sie in AWS Glue Studio Glue 5.0 - Supports Spark 3.5.4, Scala 2, Python 3 in Glue version aus.

Wählen Sie in der API 5.0 im GlueVersion-Parameter in der CreateJob-API-Operation aus.

Java-17-Aktualisierungen

[Scala] Aktualisierung von AWS-SDK-Aufrufen von v1 auf v2

Migration von Python 3.10 auf 3.11

[Python] Aktualisierung der Boto-Referenzen von 1.26 auf 1.34

Katalog: Ein logischer Container, der Objekte aus einem Datenspeicher wie Schemata oder Tabellen enthält.

Datenbank: Organisiert Datenobjekte wie Tabellen und Ansichten in einem Katalog.

Tabellen und Ansichten: Datenobjekte in einer Datenbank, die eine Abstraktionsschicht mit einem verständlichen Schema bereitstellen. Sie erleichtern den Zugriff auf zugrunde liegende Daten, die in verschiedenen Formaten und an verschiedenen Orten vorliegen können.

--enable-lakeformation-fine-grained-access: Aktiviert das Feature für die differenzierte Zugriffskontrolle (FGAC) in Tabellen von AWS Lake Formation.

Migrationshandbuch: Spark Core

Migrationshandbuch: SQL, Datensätze und DataFrame

Migrationshandbuch: Strukturiertes Streaming

PySpark aktualisieren

Alle bestehenden Auftragsparameter und Hauptfeatures von AWS Glue 2.0 sind auch in AWS Glue 5.0 verfügbar, mit Ausnahme von Machine-Learning-Transformationen.

Einige Spark-Änderungen allein erfordern möglicherweise eine Überarbeitung Ihrer Skripte, um sicherzustellen, dass entfernte Features nicht referenziert werden. Beispielsweise aktiviert Spark 3.1.1 und höher keine nicht typisierten Scala-UDFs, aber Spark 2.4 erlaubt sie.

Python 2.7 wird nicht unterstützt.

Alle zusätzlichen Jars in vorhandenen Aufträgen in AWS Glue 2.0 können zu in Konflikt stehenden Abhängigkeiten führen, da es Aktualisierungen in verschiedenen Abhängigkeiten gibt. Sie können Klassenpfadkonflikte mit dem --user-jars-first-Auftragsparameter vermeiden.

Änderungen des Verhaltens beim Laden/Speichern von Zeitstempeln von/in Parquet-Dateien. Weitere Informationen finden Sie unter Upgrade von Spark SQL 3.0 auf 3.1.

Abweichende Parallelität von Spark-Aufgaben für die Treiber-/Executor-Konfiguration. Sie können die Parallelität von Aufgaben anpassen, indem Sie das Auftragsargument --executor-cores übergeben.

Alle Protokolle (Systemprotokolle, Spark-Daemon-Protokolle, Benutzerprotokolle und Glue-Logger-Protokolle) werden nun standardmäßig in die /aws-glue/jobs/error-Protokollgruppe geschrieben.

Die in früheren Versionen für die kontinuierliche Protokollierung verwendete /aws-glue/jobs/logs-v2-Protokollgruppe wird nicht mehr verwendet.

Sie können die Namen der Protokollgruppen oder Protokollstreams nicht mehr mit den entfernten Argumenten für die kontinuierliche Protokollierung umbenennen oder anpassen. Sehen Sie sich stattdessen die neuen Auftragsargumente in AWS Glue 5.0 an.

––custom-logGroup-prefix: Ermöglicht es Ihnen, ein benutzerdefiniertes Präfix für die Protokollgruppen /aws-glue/jobs/error und /aws-glue/jobs/output anzugeben.

––custom-logStream-prefix: Ermöglicht es Ihnen, ein benutzerdefiniertes Präfix für die Namen der Protokollstreams innerhalb der Protokollgruppen anzugeben.

Zu den Validierungsregeln und Einschränkungen für benutzerdefinierte Präfixe gehört Folgendes:

––enable-continuous-cloudwatch-log

––continuous-log-logGroup

––continuous-log-logStreamPrefix

––continuous-log-conversionPattern

––enable-continuous-log-filter

Anhang B: Aktualisierungen von JDBC-Treibern

Anhang C: Konnektor-Upgrades

Anhang D: Verbesserungen des Open-Table-Formats

Integriert die Unterstützung für dreiteilige Tabellennamen, damit der Connector Redshift-Datenfreigabetabellen abfragen kann.

Korrigiert die Zuordnung von Spark ShortType, um Redshift SMALLINT anstelle von INTEGER zu verwenden, um die erwartete Datengröße besser anzupassen.

Unterstützung für benutzerdefinierte Clusternamen (CNAME) für Amazon Redshift Serverless hinzugefügt.

Unterstützung für Indexierung auf Datensatzebene.

Unterstützung für die automatische Generierung von Datensatzschlüsseln. Sie müssen das Datensatzschlüsselfeld jetzt nicht mehr angeben.

Unterstützt differenzierte Zugriffskontrolle mit AWS Lake Formation.

Unterstützt Verzweigen und Markieren, d. h. benannte Verweise auf Snapshots mit eigenen, unabhängigen Lebenszyklen.

Ein neues Verfahren zur Änderungsprotokollansicht generiert eine Ansicht, die die Änderungen an einer Tabelle über einen bestimmten Zeitraum oder zwischen bestimmten Snapshots enthält.

Unterstützung des Delta Universal Formats (UniForm), das einen nahtlosen Zugriff über Apache Iceberg und Apache Hudi ermöglicht.

Unterstützung von Löschvektoren, die ein Merge-on-Read-Paradigma implementieren.

Unterstützung für hierarchische Partitionsschlüssel hinzugefügt.

Option zur Verwendung eines benutzerdefinierten Schemas mit StringType (unformatierte JSON) für eine verschachtelte Eigenschaft hinzugefügt.

Konfigurationsoption spark.cosmos.auth.aad.clientCertPemBase64 hinzugefügt, um die Verwendung der SPN-Authentifizierung (ServicePrincipal-Name) mit Zertifikat anstelle des Client-Schlüssels zu ermöglichen.

Die TLS-Verschlüsselung ist standardmäßig aktiviert.

Wenn encrypt = false ist, der Server aber Verschlüsselung erfordert, wird das Zertifikat basierend auf der trustServerCertificate-Verbindungseinstellung validiert.

aadSecurePrincipalId und aadSecurePrincipalSecret sind veraltet.

Die getAADSecretPrincipalId-API wurde entfernt.

CNAME-Auflösung hinzugefügt, wenn Realm angegeben ist.

Unterstützung für Micro-Batch-Modus mit strukturiertem Spark-Streaming.

Unterstützung für BSON-Datentypen.

Unterstützung für das Lesen mehrerer Sammlungen im Micro-Batch- oder kontinuierlichen Streaming-Modus hinzugefügt.

Ein neuer trim_space-Parameter wurde eingeführt, mit dem Sie Werte von StringType-Spalten beim Speichern in einer Snowflake-Tabelle automatisch kürzen können. Standard: false.

Der abort_detached_query-Parameter wurde standardmäßig auf Sitzungsebene deaktiviert.

Die Anforderung des SFUSER-Parameters bei Verwendung von OAUTH wurde entfernt.

Das Feature „Erweiterter Abfrage-Pushdown“ wurde entfernt. Es sind Alternativen zu diesem Feature verfügbar. Anstatt Daten aus Snowflake-Tabellen zu laden, können Benutzer beispielsweise Daten direkt aus Snowflake-SQL-Abfragen laden.