Rilasci 6.15.0 di Amazon EMR su EKS - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Rilasci 6.15.0 di Amazon EMR su EKS

Questa pagina descrive la funzionalità nuova e aggiornata di Amazon EMR specifica per l'implementazione di Amazon EMR su EKS. Per dettagli su Amazon EMR in esecuzione su Amazon EC2 e sulla versione Amazon EMR 6.15.0 in generale, consulta Amazon EMR 6.15.0 nella Amazon EMR Release Guide.

Rilasci 6.15 di Amazon EMR su EKS

I seguenti rilasci 6.15.0 di Amazon EMR sono disponibili per Amazon EMR su EKS. Seleziona un rilascio emr-6.15.0-XXXX specifico per visualizzare ulteriori dettagli, come il relativo tag dell'immagine di container.

Flink releases

I seguenti rilasci 6.15.0 di Amazon EMR sono disponibili per Amazon EMR su EKS quando vengono eseguite le applicazioni Flink.

Spark releases

I seguenti rilasci 6.15.0 di Amazon EMR sono disponibili per Amazon EMR su EKS quando vengono eseguite le applicazioni Spark.

  • emr-6.15.0-latest

  • emr-6.15.0-20231109

  • emr-6.15.0-spark-rapids-latest

  • emr-6.15.0-spark-rapids-20231109

  • emr-6.15.0-java11-latest

  • emr-6.15.0-java11-20231109

  • emr-6.15.0-java17-latest

  • emr-6.15.0-java17-20231109

  • emr-6.15.0-java17-al2023-latest

  • emr-6.15.0-java17-al2023-20231109

  • emr-6.15.0-spark-rapids-java17-latest

  • emr-6.15.0-spark-rapids-java17-20231109

  • emr-6.15.0-spark-rapids-java17-al2023-latest

  • emr-6.15.0-spark-rapids-java17-al2023-20231109

  • notebook-spark/emr-6.15.0-latest

  • notebook-spark/emr-6.15.0-20231109

  • notebook-spark/emr-6.15.0-spark-rapids-latest

  • notebook-spark/emr-6.15.0-spark-rapids-20231109

  • notebook-spark/emr-6.15.0-java11-latest

  • notebook-spark/emr-6.15.0-java11-20231109

  • notebook-spark/emr-6.15.0-java17-latest

  • notebook-spark/emr-6.15.0-java17-20231109

  • notebook-spark/emr-6.15.0-java17-al2023-latest

  • notebook-spark/emr-6.15.0-java17-al2023-20231109

  • notebook-python/emr-6.15.0-latest

  • notebook-python/emr-6.15.0-20231109

  • notebook-python/emr-6.15.0-spark-rapids-latest

  • notebook-python/emr-6.15.0-spark-rapids-20231109

  • notebook-python/emr-6.15.0-java11-latest

  • notebook-python/emr-6.15.0-java11-20231109

  • notebook-python/emr-6.15.0-java17-latest

  • notebook-python/emr-6.15.0-java17-20231109

  • notebook-python/emr-6.15.0-java17-al2023-latest

  • notebook-python/emr-6.15.0-java17-al2023-20231109

Note di rilascio

Note di rilascio di Amazon EMR su EKS 6.15.0

  • Applicazioni supportate ‐ AWS SDK per Java 1.12.569, Apache Spark 3.4.1-amzn-2, Apache Flink 1.17.1-amzn-1, Apache Hudi 0.14.0-amzn-0, Apache Iceberg 1.4.0-amzn-0, Delta 2.4.0, Apache Spark RAPIDS 23.08.01-amzn-0, Jupyter Enterprise Gateway 2.6.0

  • Componenti supportati: aws-sagemaker-spark-sdk, emr-ddb, emr-goodies, emr-s3-select, emrfs, hadoop-client, hudi, hudi-spark, iceberg, spark-kubernetes.

  • Classificazioni di configurazione supportate

    Da usare con e: StartJobRun CreateManagedEndpoint APIs

    Classificazioni Descrizioni

    core-site

    Modifica i valori nel file Hadoop core-site.xml.

    emrfs-site

    Modifica le impostazioni EMRFS.

    spark-metrics

    Modifica i valori nel file Spark metrics.properties.

    spark-defaults

    Modifica i valori nel file Spark spark-defaults.conf.

    spark-env

    Modifica i valori nell'ambiente Spark.

    spark-hive-site

    Modifica i valori nel file Spark hive-site.xml.

    spark-log4j

    Modifica i valori nel file Spark log4j2.properties.

    emr-job-submitter

    Configurazione per il pod del mittente di processi.

    Da utilizzare specificamente con CreateManagedEndpoint APIs:

    Classificazioni Descrizioni

    jeg-config

    Modifica i valori nel file jupyter_enterprise_gateway_config.py Jupyter Enterprise Gateway.

    jupyter-kernel-overrides

    Modifica il valore per l'immagine del kernel nel file Jupyter Kernel Spec.

    Le classificazioni di configurazione consentono di personalizzare le applicazioni. Spesso corrispondono a un file XML di configurazione per l'applicazione, ad esempio spark-hive-site.xml. Per ulteriori informazioni, consulta la sezione Configurazione delle applicazioni.

Funzionalità significative

Nel rilascio 6.15 di Amazon EMR su EKS sono incluse le funzionalità elencate di seguito.

  • Amazon EMR su EKS con Apache Flink: con Amazon EMR su EKS 6.15.0, puoi eseguire la tua applicazione basata su Apache Flink insieme ad altri tipi di applicazioni sullo stesso cluster Amazon EKS. Ciò consente di migliorare l'utilizzo delle risorse e di semplificare la gestione dell'infrastruttura. Puoi sfruttare le istanze spot in un'applicazione Flink con una disattivazione graduale e ottenere tempi di riavvio più rapidi con il ripristino granulare e il ripristino locale delle attività con Amazon EBS. Le funzionalità di accessibilità e monitoraggio includono la possibilità di avviare un'applicazione Flink con jar archiviati in Amazon S3, l'accesso al AWS Glue Data Catalog, il monitoraggio dell'integrazione con Amazon S3 e Amazon CloudWatch e la rotazione dei log dei container.