기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Amazon EMR on EKS 7.11.0 릴리스
이 페이지에서는 Amazon EMR on EKS 배포에 특정한 Amazon EMR의 신규 기능 및 업데이트된 기능을 설명합니다. Amazon EC2에서 실행되는 Amazon EMR과 일반적으로 Amazon EMR 7.11.0 릴리스에 대한 자세한 내용은 Amazon EMR 릴리스 안내서의 Amazon EMR 7.11.0을 참조하세요.
Amazon EMR on EKS 7.11 릴리스
Amazon EMR on EKS에는 다음 Amazon EMR 7.11.0 릴리스를 사용할 수 있습니다. 관련 컨테이너 이미지 태그와 같은 세부 정보를 보려면 특정 emr-7.11.0-XXXX 릴리스를 선택합니다.
릴리스 노트
Amazon EMR on EKS 7.11.0 릴리스 정보:
-
지원되는 애플리케이션 ‐ AWS SDK for Java 2.35.5 and 1.12.792, Apache Spark 3.5.6-amzn-0, Apache Hudi 1.0.2-amzn-0, Apache Iceberg 1.9.1-amzn-0, Delta 3.3.2-amzn-0, Apache Spark RAPIDS 25.04.0-amzn-0, Apache Flink 1.20.0-amzn-5
-
지원되는 구성 요소 ‐
emr-ddb,emr-goodies,emr-s3-select,emrfs,hadoop-client,hudi,hudi-spark,iceberg,spark-kubernetes. -
지원되는 구성 분류
StartJobRun 및 CreateManagedEndpoint API와 함께 사용하는 경우:
분류 설명 core-siteHadoop
core-site.xml파일에서 값을 변경합니다.emrfs-siteEMRFS 설정을 변경합니다.
spark-metricsSpark
metrics.properties파일에서 값을 변경합니다.spark-defaultsSpark
spark-defaults.conf파일에서 값을 변경합니다.spark-envSpark 환경에서 값을 변경합니다.
spark-hive-siteSpark
hive-site.xml파일에서 값을 변경합니다.spark-log4j2Spark
log4j2.properties파일에서 값을 변경합니다.emr-job-submitter작업 제출자 포드 구성.
특별히 CreateManagedEndpoint API와 함께 사용하는 경우:
분류 설명 jeg-configJupyter Enterprise Gateway
jupyter_enterprise_gateway_config.py파일에서 값을 변경합니다.jupyter-kernel-overridesJupyter 커널 사양 파일에서 커널 이미지 값을 변경합니다.
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종
spark-hive-site.xml과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 애플리케이션 구성을 참조하세요.
변경 사항 및 기능
Amazon EMR on EKS의 7.11.0 릴리스에는 다음과 같은 변경 사항이 포함되어 있습니다.
Amazon EMR on EKS는 이제 다음을 포함한 관리형 Livy 솔루션을 통해 SageMaker Unified Studio와의 통합을 지원합니다.
-
관리형 세션: SageMaker Unified Studio를 통해 EKS 클러스터에서 Spark 세션을 실행하기 위한 사용자 지정 HTTPS 엔드포인트를 제공하는 새로운 대화형 세션 리소스 유형
-
Lake Formation 통합: 두 가지 모드로 데이터 액세스 제어 지원 a) 세분화된 액세스 제어 b) 전체 테이블 액세스(호환성 모드)
-
Identity Management: 유연한 인증 옵션 a) IAM 역할 기반 액세스 제어 b) 기반 액세스 제어.
-
통합이 포함된 사용자 백그라운드 세션: 사용자가 SageMaker Unified Studio에서 로그오프한 후에도 장기 실행 Spark 워크로드가 계속 실행되도록 지원하여 최대 90일의 세션 지원
