Rilasci 6.13.0 di Amazon EMR su EKS - Amazon EMR
RilasciNote di rilascioFunzionalità

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Rilasci 6.13.0 di Amazon EMR su EKS

Questa pagina descrive la funzionalità nuova e aggiornata di Amazon EMR specifica per l'implementazione di Amazon EMR su EKS. Per dettagli su Amazon EMR in esecuzione su Amazon EC2 e sulla versione Amazon EMR 6.13.0 in generale, consulta Amazon EMR 6.13.0 nella Amazon EMR Release Guide.

Rilasci 6.13 di Amazon EMR su EKS

I seguenti rilasci 6.13.0 di Amazon EMR sono disponibili per Amazon EMR su EKS. Seleziona un rilascio emr-6.13.0-XXXX specifico per visualizzare ulteriori dettagli, come il relativo tag dell'immagine di container.

  • emr-6.13.0-latest

  • emr-6.13.0-20230814

  • emr-6.13.0-spark-rapids-latest

  • emr-6.13.0-spark-rapids-20230814

  • emr-6.13.0-java11-latest

  • emr-6.13.0-java11-20230814

  • emr-6.13.0-java17-latest

  • emr-6.13.0-java17-20230814

  • emr-6.13.0-java17-al2023-latest

  • emr-6.13.0-java17-al2023-20230814

  • emr-6.13.0-spark-rapids-java17-latest

  • emr-6.13.0-spark-rapids-java17-20230814

  • emr-6.13.0-spark-rapids-java17-al2023-latest

  • emr-6.13.0-spark-rapids-java17-al2023-20230814

  • notebook-spark/emr-6.13.0-latest

  • notebook-spark/emr-6.13.0-20230814

  • notebook-spark/emr-6.13.0-spark-rapids-latest

  • notebook-spark/emr-6.13.0-spark-rapids-20230814

  • notebook-spark/emr-6.13.0-java11-latest

  • notebook-spark/emr-6.13.0-java11-20230814

  • notebook-spark/emr-6.13.0-java17-latest

  • notebook-spark/emr-6.13.0-java17-20230814

  • notebook-spark/emr-6.13.0-java17-al2023-latest

  • notebook-spark/emr-6.13.0-java17-al2023-20230814

  • notebook-python/emr-6.13.0-latest

  • notebook-python/emr-6.13.0-20230814

  • notebook-python/emr-6.13.0-spark-rapids-latest

  • notebook-python/emr-6.13.0-spark-rapids-20230814

  • notebook-python/emr-6.13.0-java11-latest

  • notebook-python/emr-6.13.0-java11-20230814

  • notebook-python/emr-6.13.0-java17-latest

  • notebook-python/emr-6.13.0-java17-20230814

  • notebook-python/emr-6.13.0-java17-al2023-latest

  • notebook-python/emr-6.13.0-java17-al2023-20230814

Note di rilascio

Note di rilascio di Amazon EMR su EKS 6.13.0

  • Applicazioni supportate ‐ AWS SDK per Java 1.12.513, Apache Spark 3.4.1-amzn-0, Apache Hudi 0.13.1-amzn-0, Apache Iceberg 1.3.0-amzn-0, Delta 2.4.0, Apache Spark RAPIDS 23.06.0-amzn-1, Jupyter Enterprise Gateway 2.6.0.amzn

  • Componenti supportati: aws-sagemaker-spark-sdk, emr-ddb, emr-goodies, emr-s3-select, emrfs, hadoop-client, hudi, hudi-spark, iceberg, spark-kubernetes.

  • Classificazioni di configurazione supportate

    StartJobRunDa CreateManagedEndpoint APIsutilizzare con e:

    Classificazioni Descrizioni

    core-site

    Modifica i valori nel file Hadoop core-site.xml.

    emrfs-site

    Modifica le impostazioni EMRFS.

    spark-metrics

    Modifica i valori nel file Spark metrics.properties.

    spark-defaults

    Modifica i valori nel file Spark spark-defaults.conf.

    spark-env

    Modifica i valori nell'ambiente Spark.

    spark-hive-site

    Modifica i valori nel file Spark hive-site.xml.

    spark-log4j

    Modifica i valori nel file Spark log4j2.properties.

    emr-job-submitter

    Configurazione per il pod del mittente di processi.

    Da utilizzare specificamente con CreateManagedEndpoint APIs:

    Classificazioni Descrizioni

    jeg-config

    Modifica i valori nel file jupyter_enterprise_gateway_config.py Jupyter Enterprise Gateway.

    jupyter-kernel-overrides

    Modifica il valore per l'immagine del kernel nel file Jupyter Kernel Spec.

    Le classificazioni di configurazione consentono di personalizzare le applicazioni. Spesso corrispondono a un file XML di configurazione per l'applicazione, ad esempio spark-hive-site.xml. Per ulteriori informazioni, consulta la sezione Configurazione delle applicazioni.

Funzionalità significative

Nel rilascio 6.13 di Amazon EMR su EKS sono incluse le funzionalità elencate di seguito.

  • Amazon Linux 2023 - Con Amazon EMR su EKS 6.13 e versioni successive, puoi avviare Spark con AL2 023 come sistema operativo insieme al runtime Java 17. Per farlo, utilizza l'etichetta di rilascio con al2023 nel nome. Ad esempio: emr-6.13.0-java17-al2023-latest. Ti consigliamo di convalidare ed eseguire test delle prestazioni prima di spostare i carichi di lavoro di produzione su 023 e Java 17. AL2

  • Amazon EMR su EKS con Apache Flink (anteprima pubblica): i rilasci 6.13 e successivi di Amazon EMR su EKS supportano Apache Flink, disponibile in anteprima pubblica. Con questo lancio, puoi eseguire la tua applicazione basata su Apache Flink insieme ad altri tipi di applicazioni sullo stesso cluster Amazon EKS. Ciò consente di migliorare l'utilizzo delle risorse e di semplificare la gestione dell'infrastruttura. Se stai già eseguendo framework di big data su Amazon EKS, ora puoi utilizzare Amazon EMR per automatizzare il provisioning e la gestione.