AWS runtime for Apache Spark (emr-spark-8.0-preview) - Amazon EMR

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

AWS runtime for Apache Spark (emr-spark-8.0-preview)

다음 표에는 AWS runtime for Apache Spark (emr-spark-8.0-preview)에서 사용할 수 있는 애플리케이션 버전이 나열되어 있습니다.

애플리케이션 버전 정보
애플리케이션 버전
Spark 4.0.1-amzn-0
AWS runtime for Apache Spark (emr-spark-8.0-preview) 릴리스 정보

  • 미리 보기 릴리스 - Apache Spark 4.0.1이 AWS runtime for Apache Spark 탑재된 미리 보기 릴리스입니다. 이 미리 보기는 EMR Serverless에서만 사용할 수 있습니다.

  • 리전별 가용성 -이 평가판 릴리스는 중국 및 AWS GovCloud(미국) AWS 리전을 제외하고 EMR Serverless를 사용할 수 있는 모든 리전에서 사용할 수 있습니다.

  • 애플리케이션 버전 정보 -이 릴리스에는 다음 애플리케이션 버전이 함께 제공됩니다.

    • AWS Java용 SDK 2.35.5, 1.12.792

    • Python 3.9, 3.11, 3.12

    • 스칼라 2.13.16

    • AmazonCloudWatchAgent 1.300034.0-amzn-0

    • 델타 4.0.0-amzn-0-spark

    • Iceberg 1.10.0-amzn-spark-0

    • 이 릴리스는 Corretto 17(OpenJDK)을 지원하는 애플리케이션의 경우 기본적으로 Amazon Corretto 17(OpenJDK 기반)과 함께 제공됩니다.

  • 미리 보기 제한 -이 미리 보기 릴리스에서는 다음 기능을 사용할 수 없습니다.

    • 대화형 및 통합 기능: SageMaker Unified Studio, EMR Studio 통합, Spark Connect, Livy 및 JupyterEnterpriseGateway는 지원되지 않습니다.

    • 테이블 형식 및 액세스 제어: 행 수준 또는 열 수준 필터링 및 DDL/DML 연산자를 사용하는 Hudi, Delta 범용 형식 및 세분화된 액세스 제어(FGAC)는 지원되지 않습니다.

    • 데이터 커넥터: spark-sql-kinesis, emr-dynamodb 및 spark-redshift 커넥터를 사용할 수 없습니다.

    • 기록 서버:이 평가판 릴리스에서는 영구 Spark 기록 서버를 사용할 수 없습니다. 사용자는 라이브 Spark UI에 계속 액세스하여 활성 서버리스 작업을 실시간으로 모니터링하고 디버깅할 수 있습니다.

    • 특수 기능: 구체화된 보기를 사용할 수 없습니다.

  • 미리 보기 기능 -이 미리 보기 릴리스에서 다음 기능을 테스트할 수 있습니다. 이 미리 보기 릴리스는 프로덕션 워크로드에는 권장되지 않습니다.

    • SQL 기능: 더 엄격한 유형 처리를 사용하는 ANSI SQL 모드, 체인 작업을 위한 SQL PIPE 구문(|>), 반정형 JSON 데이터를 위한 VARIANT 데이터 형식, 제어 흐름 문 및 세션 변수를 사용하는 SQL 스크립팅, SQL 사용자 정의 함수.

    • 스트리밍 기능 향상: transformWithState 연산자를 사용하는 임의 상태 저장 처리 API v2, 쿼리 가능한 스트리밍 상태를 위한 상태 데이터 소스 리더(실험), 향상된 RocksDB 변경 로그 체크포인트를 사용하는 향상된 상태 스토어.

    • 테이블 형식 지원: VARIANT 데이터 형식이 지원되는 Apache Iceberg v3, Iceberg, Delta Lake 및 Hive 테이블 AWS Lake Formation 용와 AWS S3 Tables 통합 및 전체 테이블 액세스(FTA)

  • 추가 설명서 - 추가 Apache Spark 설명서는 Apache Spark 4.0.1 릴리스 설명서를 참조하세요.

시작하기

Apache Spark 4.0.1 미리 보기를 시작하려면 AWS CLI를 사용하여 EMR Serverless 애플리케이션을 생성합니다.

aws emr-serverless create-application --type spark \
  --release-label emr-spark-8.0-preview \
  --region us-east-1 --name spark4-preview