Migrazione AWS Glue per i job Spark alla versione 5.1 AWS Glue

Aggiornamento di Apache Spark dalla versione 3.5.4 della AWS Glue versione 5.0 alla versione 3.5.6 della versione 5.1. AWS Glue

Open Table Formats (OTF) aggiornati a Hudi 1.0.2, Iceberg 1.10.0 e Delta Lake 3.3.2

Iceberg Materialized Views - Crea e gestisci Iceberg Materialized Views (MV). Per ulteriori informazioni, consulta il post del blog

Formato Iceberg versione 3.0: estende i tipi di dati e le strutture di metadati esistenti per aggiungere nuove funzionalità. Per ulteriori informazioni, consulta Iceberg Table Spec.

Hudi Full Table Access - Controllo completo dell'accesso alla tabella (FTA) per Apache Hudi in Apache Spark in base alle politiche definite in. Questa funzionalità consente le operazioni di lettura e scrittura dai lavori AWS Glue ETL su tabelle registrate quando il ruolo lavorativo ha accesso completo alla tabella.

Supporto nativo di Spark per il controllo granulare degli accessi (FGAC) tramite DDL/DML operazioni (come CREATE, ALTER, DELETE, DROP) con controllo granulare degli accessi per le tabelle Apache Hive, Apache Iceberg e Delta Lake registrate in.

Contesto di controllo per i lavori Spark: sarà disponibile il contesto di controllo per i lavori AWS Glue ETL con lavori abilitati e le chiamate API verranno registrate AWS Glue AWS Lake Formation

Supporto limitato per la clausola view SQL per la creazione di viste materializzate, la riscrittura delle query e l'aggiornamento incrementale. Maggiori dettagli sono disponibili nella pagina di documentazione della funzionalità Iceberg Materialized Views

Le scritture Hudi FTA richiedono l'utilizzo HoodieCredentialedHadoopStorage per la vendita di credenziali durante l'esecuzione del lavoro. Imposta la seguente configurazione durante l'esecuzione dei job Hudi:

hoodie.storage.class=org.apache.spark.sql.hudi.storage.HoodieCredentialedHadoopStorage

Il supporto di scrittura Hudi FTA funziona solo con le configurazioni Hudi predefinite. Le impostazioni Hudi personalizzate o non predefinite potrebbero non essere completamente supportate e potrebbero causare un comportamento imprevisto. Inoltre, il clustering for Hudi Merge-On-Read (MOR) non è supportato nella modalità di scrittura FTA.

Il file system S3A ha sostituito EMRFS come connettore S3 predefinito. Per informazioni su come effettuare la migrazione, consulta. Migrazione da 5.0 a 5.1 AWS GlueAWS Glue

In AWS Glue Studio, scegli Glue 5.1 - Supports Spark 3.5.6, Scala 2, Python 3 inGlue version.

Nell'API, scegli 5.1 nel parametro GlueVersion nell'operazione API UpdateJob.

Nella console, scegli Spark 3.5.6, Python 3 (Glue Version 5.1) or Spark 3.5.6, Scala 2 (Glue Version 5.1) in Glue version.

In AWS Glue Studio, scegli Glue 5.1 - Supports Spark 3.5.6, Scala 2, Python 3 inGlue version.

Nell'API, scegli 5.1 nel parametro GlueVersion nell'operazione API CreateJob.

[Python] Aggiorna i riferimenti di avvio da 1.34 a 1.40.

Nella AWS Glue versione 5.1, il filesystem S3A ha sostituito EMRFS come connettore S3 predefinito. Se entrambi spark.hadoop.fs.s3a.endpoint e 3 non spark.hadoop.fs.s3a.endpoint.region sono impostati, la regione predefinita utilizzata da S3A è. us-east-2 Ciò può causare problemi, come errori di timeout di caricamento di S3, in particolare per i processi VPC. Per mitigare i problemi causati da questa modifica, imposta la configurazione spark.hadoop.fs.s3a.endpoint.region Spark quando usi il file system S3A nella versione 5.1. AWS Glue

Per continuare a utilizzare EMRFS anziché S3A, imposta le seguenti configurazioni spark:

    --conf spark.hadoop.fs.s3.impl=com.amazon.ws.emr.hadoop.fs.EmrFileSystem
    --conf spark.hadoop.fs.s3n.impl=com.amazon.ws.emr.hadoop.fs.EmrFileSystem
    --conf spark.hadoop.fs.AbstractFileSystem.s3.impl=org.apache.hadoop.fs.s3.EMRFSDelegate
                

Guida alla migrazione: Spark Core

Guida alla migrazione: SQL, set di dati e DataFrame

Guida alla migrazione: streaming strutturato

Aggiornamento PySpark

Per i passaggi di migrazione relativi alla versione AWS Glue 4.0 alla AWS Glue 5.0, consulta Migrazione da AWS Glue 4.0 a AWS Glue 5.0.

Per le fasi di migrazione relative alla AWS Glue versione 3.0 alla AWS Glue 5.0, consulta Migrazione da AWS Glue 3.0 a AWS Glue 5.0.

Per le fasi di migrazione relative alla versione AWS Glue 2.0 alla AWS Glue 5.0 e un elenco delle differenze di migrazione tra la AWS Glue versione 2.0 e 4.0, consulta Migrazione dalla AWS Glue 2.0 alla AWS Glue 5.0.

Appendice B: aggiornamenti dei driver JDBC

Appendice C: Aggiornamenti dei connettori

Appendice D: Aggiornamenti di formato a tabella aperta

Supporta l'accesso in lettura e scrittura FTA sulle tabelle registrate di Lake Formation.

Supporta la versione 3 del formato Iceberg. Sono supportate le seguenti funzionalità:

Supporta le scritture FGAC native di Spark su tabelle registrate.

Compatibilità con Athena SQL - Impossibile leggere le tabelle Iceberg V3 create da EMR Spark a causa di un errore: GENERIC_INTERNAL_ERROR: Cannot read unsupported version 3

Supporta l'accesso in lettura e scrittura FTA sulle tabelle registrate di Lake Formation.