View a markdown version of this page

Rilasci 6.13.0 di Amazon EMR su EKS - Amazon EMR
RilasciNote di rilascioFunzionalità

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Rilasci 6.13.0 di Amazon EMR su EKS

Questa pagina descrive la funzionalità nuova e aggiornata di Amazon EMR specifica per l'implementazione di Amazon EMR su EKS. Per conoscere i dettagli su Amazon EMR in esecuzione su Amazon EC2 e sul rilascio 6.13.0 di Amazon EMR in generale, consulta Amazon EMR 6.13.0 nella Guida ai rilasci di Amazon EMR.

Rilasci 6.13 di Amazon EMR su EKS

I seguenti rilasci 6.13.0 di Amazon EMR sono disponibili per Amazon EMR su EKS. Seleziona un rilascio emr-6.13.0-XXXX specifico per visualizzare ulteriori dettagli, come il relativo tag dell'immagine di container.

  • emr-6.13.0-latest

  • emr-6.13.0-20230814

  • emr-6.13.0-spark-rapids-latest

  • emr-6.13.0-spark-rapids-20230814

  • emr-6.13.0-java11-latest

  • emr-6.13.0-java11-20230814

  • emr-6.13.0-java17-latest

  • emr-6.13.0-java17-20230814

  • emr-6.13.0-java17-al2023-latest

  • emr-6.13.0-java17-al2023-20230814

  • emr-6.13.0-spark-rapids-java17-latest

  • emr-6.13.0-spark-rapids-java17-20230814

  • emr-6.13.0-spark-rapids-java17-al2023-latest

  • emr-6.13.0-spark-rapids-java17-al2023-20230814

  • notebook-spark/emr-6.13.0-latest

  • notebook-spark/emr-6.13.0-20230814

  • notebook-spark/emr-6.13.0-spark-rapids-latest

  • notebook-spark/emr-6.13.0-spark-rapids-20230814

  • notebook-spark/emr-6.13.0-java11-latest

  • notebook-spark/emr-6.13.0-java11-20230814

  • notebook-spark/emr-6.13.0-java17-latest

  • notebook-spark/emr-6.13.0-java17-20230814

  • notebook-spark/emr-6.13.0-java17-al2023-latest

  • notebook-spark/emr-6.13.0-java17-al2023-20230814

  • notebook-python/emr-6.13.0-latest

  • notebook-python/emr-6.13.0-20230814

  • notebook-python/emr-6.13.0-spark-rapids-latest

  • notebook-python/emr-6.13.0-spark-rapids-20230814

  • notebook-python/emr-6.13.0-java11-latest

  • notebook-python/emr-6.13.0-java11-20230814

  • notebook-python/emr-6.13.0-java17-latest

  • notebook-python/emr-6.13.0-java17-20230814

  • notebook-python/emr-6.13.0-java17-al2023-latest

  • notebook-python/emr-6.13.0-java17-al2023-20230814

Note di rilascio

Note di rilascio di Amazon EMR su EKS 6.13.0

  • Applicazioni supportate ‐ AWS SDK per Java 1.12.513, Apache Spark 3.4.1-amzn-0, Apache Hudi 0.13.1-amzn-0, Apache Iceberg 1.3.0-amzn-0, Delta 2.4.0, Apache Spark RAPIDS 23.06.0-amzn-1, Jupyter Enterprise Gateway 2.6.0.amzn

  • Componenti supportati: aws-sagemaker-spark-sdk, emr-ddb, emr-goodies, emr-s3-select, emrfs, hadoop-client, hudi, hudi-spark, iceberg, spark-kubernetes.

  • Classificazioni di configurazione supportate

    StartJobRunDa CreateManagedEndpointutilizzare con e API:

    Classificazioni Descrizioni

    core-site

    Modifica i valori nel file Hadoop core-site.xml.

    emrfs-site

    Modifica le impostazioni EMRFS.

    spark-metrics

    Modifica i valori nel file Spark metrics.properties.

    spark-defaults

    Modifica i valori nel file Spark spark-defaults.conf.

    spark-env

    Modifica i valori nell'ambiente Spark.

    spark-hive-site

    Modifica i valori nel file Spark hive-site.xml.

    spark-log4j

    Modifica i valori nel file Spark log4j2.properties.

    emr-job-submitter

    Configurazione per il pod del mittente di processi.

    Da utilizzare specificamente con le CreateManagedEndpointAPI:

    Classificazioni Descrizioni

    jeg-config

    Modifica i valori nel file jupyter_enterprise_gateway_config.py Jupyter Enterprise Gateway.

    jupyter-kernel-overrides

    Modifica il valore per l'immagine del kernel nel file Jupyter Kernel Spec.

    Le classificazioni di configurazione consentono di personalizzare le applicazioni. Spesso corrispondono a un file XML di configurazione per l'applicazione, ad esempio spark-hive-site.xml. Per ulteriori informazioni, consulta la sezione Configurazione delle applicazioni.

Funzionalità significative

Nel rilascio 6.13 di Amazon EMR su EKS sono incluse le funzionalità elencate di seguito.

  • Amazon Linux 2023: con Amazon EMR su EKS 6.13 e versioni successive, puoi avviare Spark con AL2023 come sistema operativo insieme al runtime Java 17. Per farlo, utilizza l'etichetta di rilascio con al2023 nel nome. Ad esempio: emr-6.13.0-java17-al2023-latest. Consigliamo di convalidare ed eseguire test delle prestazioni prima di trasferire i carichi di lavoro di produzione su AL2023 e Java 17.

  • Amazon EMR su EKS con Apache Flink (anteprima pubblica): i rilasci 6.13 e successivi di Amazon EMR su EKS supportano Apache Flink, disponibile in anteprima pubblica. Con questo lancio, puoi eseguire la tua Flink-based applicazione Apache insieme ad altri tipi di applicazioni sullo stesso cluster Amazon EKS. Ciò consente di migliorare l'utilizzo delle risorse e di semplificare la gestione dell'infrastruttura. Se stai già eseguendo framework di big data su Amazon EKS, ora puoi utilizzare Amazon EMR per automatizzare il provisioning e la gestione.