View a markdown version of this page

Runtime AWS per Apache Spark (emr-spark-8.1.0) - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Runtime AWS per Apache Spark (emr-spark-8.1.0)

La tabella seguente elenca le versioni delle applicazioni disponibili con (emr-spark-8.1.0). AWS runtime for Apache Spark

Informazioni sulla versione dell'applicazione
Applicazione Versione
Spark 4.1.1-amzn-0
Iceberg 1.11.0-amzn-0
Delta 4.2.0-amzn-0
Hudi 1.1.1-amzn-0
Note di rilascio di AWS runtime per Apache Spark (emr-spark-8.1.0)

  • Modifiche e miglioramenti

    • Supporto per Python 3.12: Amazon EMR Serverless con supporto per emr-spark-8.1.0 Python 3.12 per applicazioni Apache Spark.

    • Convalida della versione di rilascio dell'immagine personalizzata: quando si utilizza un'immagine personalizzata con questa versione, EMR Serverless verifica che sia stata creata dall'immagine di base della versione corrispondente. Se la versione di rilascio dell'immagine non corrisponde alla versione di rilascio dell'applicazione o l'immagine non ha una versione di rilascio, la richiesta viene rifiutata. Il messaggio identifica la versione dell'immagine di base da utilizzare. Ricostruisci l'immagine personalizzata dall'immagine base EMR Serverless corrispondente.

    • Aumento del limite di dati di storage serverless per i job Spark: questa versione aumenta il limite di dati di storage serverless per i job Spark da 200 GiB a 1 TiB.

    • Configurazione Spark unita: a partire da, emr-spark-8.1.0 EMR Serverless unisce la configurazione Spark anziché sostituirla. Combina il set di configurazione a livello di applicazione con il set di configurazione per un singolo processo o sessione. Quando la stessa configurazione è impostata a entrambi i livelli, il valore del processo o della sessione ha la precedenza. Inemr-spark-8.0.0, la configurazione del processo o della sessione sostituisce completamente la configurazione a livello di applicazione.

    • Fine-grained controllo degli accessi per le sessioni Spark Connect: il controllo AWS Lake Formation granulare degli accessi è ora supportato per PySpark le sessioni interattive eseguite tramite Apache Spark Connect. Le autorizzazioni a livello di tabella, riga, colonna e cella definite in Lake Formation vengono applicate alle query di sessione. Per ulteriori informazioni, consulta Fine-grained controllo degli accessi con AWS Lake Formation per le sessioni Spark Connect.

Nozioni di base

Per iniziare con Apache Spark 4.1.1, crea un'applicazione EMR Serverless utilizzando la CLI: AWS 

aws emr-serverless create-application --type SPARK \
  --release-label emr-spark-8.1.0 \
  --name spark4-serverless \
  --region us-east-1
Note

  • Il --type parametro per gli usi (maiuscolo). create-application SPARK