Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Amazon EMR sulle versioni EKS 7.12.0
Questa pagina descrive la funzionalità nuova e aggiornata di Amazon EMR specifica per l'implementazione di Amazon EMR su EKS. Per informazioni dettagliate su Amazon EMR in esecuzione su Amazon EC2 e sulla versione Amazon EMR 7.12.0 in generale, consulta Amazon EMR 7.12.0 nella Amazon EMR Release Guide.
Amazon EMR sulle versioni EKS 7.12
Le seguenti versioni di Amazon EMR 7.12.0 sono disponibili per Amazon EMR su EKS. Seleziona una versione specifica di EMR-7.12.0-xxxx per visualizzare maggiori dettagli, ad esempio il relativo tag dell'immagine del contenitore.
Note di rilascio
Note sulla versione per Amazon EMR su EKS 7.12.0:
-
Applicazioni supportate ‐ AWS SDK per Java 2.35.5 and 1.12.792, Apache Spark 3.5.6-amzn-1, Apache Hudi 1.0.2-amzn-1, Apache Iceberg 1.10.0-amzn-0, Delta 3.3.2-amzn-1, Apache Spark RAPIDS 25.04.0-amzn-0, Apache Flink 1.20.0-amzn-6
-
Componenti supportati ‐
emr-ddb,,emr-goodies,emr-s3-select,emrfs,hadoop-client,hudi,hudi-spark.icebergspark-kubernetes -
Classificazioni di configurazione supportate
Da utilizzare con StartJobRun e CreateManagedEndpoint API:
Classificazioni Descrizioni core-siteModifica i valori nel file Hadoop
core-site.xml.emrfs-siteModifica le impostazioni EMRFS.
spark-metricsModifica i valori nel file Spark
metrics.properties.spark-defaultsModifica i valori nel file Spark
spark-defaults.conf.spark-envModifica i valori nell'ambiente Spark.
spark-hive-siteModifica i valori nel file Spark
hive-site.xml.spark-log4j2Modifica i valori nel file Spark
log4j2.properties.emr-job-submitterConfigurazione per il pod del mittente di processi.
Da utilizzare specificamente con le CreateManagedEndpoint API:
Classificazioni Descrizioni jeg-configModifica i valori nel file
jupyter_enterprise_gateway_config.pyJupyter Enterprise Gateway.jupyter-kernel-overridesModifica il valore per l'immagine del kernel nel file Jupyter Kernel Spec.
Le classificazioni di configurazione consentono di personalizzare le applicazioni. Spesso corrispondono a un file XML di configurazione per l'applicazione, ad esempio
spark-hive-site.xml. Per ulteriori informazioni, consulta la sezione Configurazione delle applicazioni.
Modifiche e funzionalità
Le seguenti funzionalità sono incluse nella versione 7.12.0 di Amazon EMR su EKS:
-
Iceberg Materialized Views: a partire da EMR 7.12.0, EMR Spark supporta la creazione e la gestione di Iceberg Materialized Views (MV).
-
Hudi Full Table Access — A partire da EMR 7.12.0, EMR ora supporta il controllo Full Table Access (FTA) per Apache Hudi in Apache Spark in base alle politiche definite in Lake Formation. Questa funzionalità consente operazioni di lettura e scrittura dai job di Amazon EMR Spark sulle tabelle registrate di Lake Formation quando il ruolo lavorativo ha accesso completo alla tabella.
-
Aggiornamento della versione Iceberg: EMR 7.12.0 supporta Apache Iceberg versione 1.10.
-
Registrazione per i carichi di lavoro interattivi di Livy: a partire da EMR 7.12.0, EMR supporta la registrazione estesa dei componenti chiave del sistema per migliorare la risoluzione dei problemi relativi agli errori dei processi di Livy Spark. Questa funzionalità fornirà al servizio EMR l'accesso a Livy e registri aggiuntivi per semplificare la risoluzione dei problemi. SecretAgent
