기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
AWS EKS의 Apache Spark 런타임(emr-spark-8.0.0)
이 페이지에서는 Amazon EMR on EKS 배포에 특정한 Amazon EMR의 신규 기능 및 업데이트된 기능을 설명합니다. Amazon EC2에서 실행되는 Amazon EMR과 일반적으로 Amazon EMR Spark 8.0.0 릴리스에 대한 자세한 내용은 Amazon EMR 릴리스 가이드의 AWS Apache Spark 런타임(emr-spark-8.0.0)을 참조하세요.
AWS EKS의 Apache Spark 런타임(emr-spark-8.0.0)
다음 emr-spark-8.0.0 릴리스는 EKS 기반 Apache Spark의 AWS 런타임에 사용할 수 있습니다.
spark/emr-spark-8.0.0-latest
spark/emr-spark-8.0.0-20260421
notebook-spark/emr-spark-8.0.0-latest
notebook-spark/emr-spark-8.0.0-20260421
notebook-python/emr-spark-8.0.0-latest
notebook-python/emr-spark-8.0.0-20260421
livy/emr-spark-8.0.0-latest
livy/emr-spark-8.0.0-20260421
릴리스 노트
EKS의 Apache Spark(emr-spark-8.0.0) AWS 런타임에 대한 릴리스 정보:
-
지원되는 애플리케이션 ‐ AWS SDK for Java 2.41.32, Apache Spark 4.0.2-amzn-0, Apache Hudi 1.1.0-amzn-0, Apache Iceberg 1.10.1-amzn-0, Delta Lake 4.0.0-amzn-1-spark
-
지원되는 구성 요소 ‐
emr-ddb,emr-goodies,hadoop-client,hudi,hudi-spark,iceberg, .spark-kubernetes -
지원되는 구성 분류
StartJobRun 및 CreateManagedEndpoint API와 함께 사용하는 경우:
분류 설명 core-siteHadoop
core-site.xml파일에서 값을 변경합니다.spark-metricsSpark
metrics.properties파일에서 값을 변경합니다.spark-defaultsSpark
spark-defaults.conf파일에서 값을 변경합니다.spark-envSpark 환경에서 값을 변경합니다.
spark-hive-siteSpark
hive-site.xml파일에서 값을 변경합니다.spark-log4j2Spark
log4j2.properties파일에서 값을 변경합니다.emr-job-submitter작업 제출자 포드 구성.
특별히 CreateManagedEndpoint API와 함께 사용하는 경우:
분류 설명 jeg-configJupyter Enterprise Gateway
jupyter_enterprise_gateway_config.py파일에서 값을 변경합니다.jupyter-kernel-overridesJupyter 커널 사양 파일에서 커널 이미지 값을 변경합니다.
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종
spark-hive-site.xml과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 애플리케이션 구성을 참조하세요.
변경 사항 및 기능
EKS 기반 Apache Spark AWS 런타임의 emr-spark-8.0.0 릴리스에는 다음 기능이 포함되어 있습니다.
-
Apache Spark 4.0.2 GA - ANSI SQL 모드, SQL PIPE 구문, VARIANT 데이터 유형, SQL 스크립팅 및 스트리밍 개선 사항을 갖춘 Amazon EMR on EKS 기반 Spark 4.x의 최초 프로덕션 지원 릴리스입니다.
-
Python 3.11 기본값 - Python 3.11은 PySpark 및 Spark 워크로드의 기본값입니다. Python 3.12 및 3.13도 사용할 수 있습니다.
