AWS Glue 버전 5.1으로 AWS Glue for Spark 작업 마이그레이션

AWS Glue 5.0의 3.5.4에서 AWS Glue 5.1의 3.5.6으로의 Apache Spark 업데이트.

오픈 테이블 형식(OTF)이 Hudi 1.0.2, Iceberg 1.10.0 및 Delta Lake 3.3.2로 업데이트됨

Iceberg 구체화된 뷰 - Iceberg 구체화된 뷰(MV)를 생성하고 관리합니다. 자세한 내용은 블로그 게시물을 참조하세요.

Iceberg 형식 버전 3.0 - 데이터 유형 및 기존 메타데이터 구조를 확장하여 새 기능을 추가합니다. 자세한 내용은 Iceberg 테이블 사양을 참조하세요.

Hudi 전체 테이블 액세스 - 정의된 정책을 기반으로 Apache Spark의 Apache Hudi에 대한 전체 테이블 액세스(FTA)를 제어합니다. 이 기능을 사용하면 작업 역할에 전체 테이블 액세스 권한이 있을 때 등록 테이블의 AWS Glue ETL 작업에서 읽기 및 쓰기 작업을 수행할 수 있습니다.

Spark 네이티브 세분화된 액세스(FGAC) 제어 - 등록된 Apache Hive, Apache Iceberg 및 Delta Lake 테이블에 대한 세분화된 액세스 제어와 함께 DDL/DML 작업(예: CREATE, ALTER, DELETE, DROP)을 지원합니다.

Spark 작업에 대한 감사 컨텍스트 - 활성화된 작업이 있는 AWS Glue ETL 작업에 대한 감사 컨텍스트가 로그에서 AWS Glue 및 AWS Lake Formation API 호출의 대해 제공됩니다.

구체화된 뷰 생성, 쿼리 재작성 및 증분 새로 고침을 위한 뷰 SQL 절이 제한적으로 지원됩니다. 자세한 내용은 Iceberg 구체화된 뷰 기능 설명서 페이지에서 확인할 수 있습니다.

Hudi FTA 쓰기는 작업 실행 중에 자격 증명 벤딩에 HoodieCredentialedHadoopStorage를 사용해야 합니다. Hudi 작업을 실행할 때는 다음 구성을 설정합니다.

hoodie.storage.class=org.apache.spark.sql.hudi.storage.HoodieCredentialedHadoopStorage

Hudi FTA 쓰기 지원은 기본 Hudi 구성에서만 작동합니다. 사용자 지정이거나 기본값이 아닌 Hudi 설정은 완전히 지원되지 않을 수 있으며 예기치 않은 동작이 발생할 수 있습니다. FTA 쓰기 모드에서는 Hudi Merge-On-Read(MOR) 테이블에 대한 클러스터링도 지원되지 않습니다.

기본 S3 커넥터로 S3A 파일 시스템이 EMRFS를 대체했습니다. 마이그레이션 방법에 대한 자세한 내용은 AWS Glue 5.0에서 AWS Glue 5.1으로 마이그레이션 섹션을 참조하세요.

AWS Glue Studio의 Glue version에서 Glue 5.1 - Supports Spark 3.5.6, Scala 2, Python 3을 선택합니다.

API에서 UpdateJob API 작업의 GlueVersion 파라미터에서 5.1을 선택합니다.

콘솔의 Glue version에서 Spark 3.5.6, Python 3 (Glue Version 5.1) or Spark 3.5.6, Scala 2 (Glue Version 5.1)를 선택합니다.

AWS Glue Studio의 Glue version에서 Glue 5.1 - Supports Spark 3.5.6, Scala 2, Python 3을 선택합니다.

API에서 CreateJob API 작업의 GlueVersion 파라미터에서 5.1을 선택합니다.

[Python] boto 참조를 1.34에서 1.40로 업데이트합니다.

AWS Glue 5.1에서는 S3A 파일 시스템이 기본 S3 커넥터로 EMRFS를 대체했습니다. spark.hadoop.fs.s3a.endpoint 및 spark.hadoop.fs.s3a.endpoint.region이 모두 설정되지 않은 경우, S3A에서 사용하는 기본 리전은 us-east-2입니다. 이로 인해 특히 VPC 작업의 경우 S3 업로드 제한 시간 오류와 같은 문제가 발생할 수 있습니다. 이 변경으로 인한 문제를 완화하려면 AWS Glue 5.1에서 S3A 파일 시스템을 사용할 때 spark.hadoop.fs.s3a.endpoint.region Spark 구성을 설정합니다.

S3A 대신 EMRFS를 계속 사용하려면 다음 스파크 구성을 설정합니다.

    --conf spark.hadoop.fs.s3.impl=com.amazon.ws.emr.hadoop.fs.EmrFileSystem
    --conf spark.hadoop.fs.s3n.impl=com.amazon.ws.emr.hadoop.fs.EmrFileSystem
    --conf spark.hadoop.fs.AbstractFileSystem.s3.impl=org.apache.hadoop.fs.s3.EMRFSDelegate
                

Migration Guide: Spark Core

Migration Guide: SQL, Datasets and DataFrame

Migration Guide: Structured Streaming

Upgrading PySpark

AWS Glue 4.0에서 AWS Glue 5.0으로의 마이그레이션 단계는 AWS Glue 4.0에서 AWS Glue 5.0으로 마이그레이션을 참조하세요.

AWS Glue 3.0에서 AWS Glue 5.0으로의 마이그레이션 단계는 AWS Glue 3.0에서 AWS Glue 5.0으로 마이그레이션을 참조하세요.

AWS Glue 2.0에서 AWS Glue 5.0으로의 마이그레이션 단계와 AWS Glue 버전 2.0과 4.0 간의 마이그레이션 차이점 목록은 AWS Glue 2.0에서 AWS Glue 5.0으로의 마이그레이션을 참조하세요.

부록 B: JDBC 드라이버 업그레이드

부록 C: 커넥터 업그레이드

부록 D: 오픈 테이블 형식 업그레이드

Lake Formation 등록 테이블에서 FTA 읽기 및 쓰기 액세스 지원.

Iceberg 형식 버전 3 지원. 다음 기능이 지원됩니다.

등록 테이블에서 Spark 네이티브 FGAC 쓰기 지원.

Athena SQL 호환성 - 오류로 인해 EMR Spark에서 생성한 Iceberg V3 테이블을 읽을 수 없음: GENERIC_INTERNAL_ERROR: Cannot read unsupported version 3

Lake Formation 등록 테이블에서 FTA 읽기 및 쓰기 액세스 지원.