전체 테이블 액세스를 위해 AWS Lake Formation에서 AWS Glue 사용

전체 테이블 액세스 소개

AWS Glue 5.0은 AWS Lake Formation에 정의된 정책에 따라 Apache Spark에서 전체 테이블 액세스(FTA) 제어를 지원합니다. 이 기능을 사용하면 작업 역할에 전체 테이블 액세스 권한이 있을 때 AWS Lake Formation 등록 테이블의 AWS Glue Spark 작업에서 읽기 및 쓰기 작업을 수행할 수 있습니다. FTA는 테이블 수준에서 보안 규정을 준수해야 하는 사용 사례에 이상적이고, AWS Lake Formation 테이블이 있는 탄력적 분산형 데이터세트(RDD), 사용자 지정 라이브러리 및 사용자 정의 함수(UDF)를 비롯한 Spark 기능을 지원합니다.

AWS Glue Spark 작업이 전체 테이블 액세스(FTA)로 구성된 경우 AWS Lake Formation 자격 증명은 AWS Lake Formation 등록 테이블에 대한 Amazon S3 데이터를 읽거나 쓰는 데 사용되는 반면, 작업의 런타임 역할 자격 증명은 AWS Lake Formation에 등록되지 않은 테이블을 읽거나 쓰는 데 사용됩니다. 이 기능을 사용하면 Apache Hive 및 Iceberg 테이블에서 CREATE, ALTER, DELETE, UPDATE 및 MERGE INTO 문을 포함한 데이터 조작 언어(DML) 작업을 수행할 수 있습니다.

AWS Glue에서의 전체 테이블 액세스(FTA) 작동 방식

AWS Lake Formation에서는 데이터 액세스 제어에 있어 세분화된 액세스 제어(FGAC)와 전체 테이블 액세스(FTA)라는 두 가지 접근 방식을 제공합니다. FGAC는 열, 행 및 셀 수준 필터링을 통해 보안이 향상되므로 세분화된 권한이 필요한 시나리오에 적합합니다. FTA는 테이블 수준 권한이 필요한 간단한 액세스 제어에 적합합니다. 세분화된 액세스 모드를 활성화할 필요가 없어 구현이 간소화되고, 시스템 드라이버와 시스템 실행기를 방지하여 성능을 개선하고 비용을 절감하며, 읽기 및 쓰기 작업(예: CREATE, ALTER, DELETE, UPDATE, MERGE INTO 명령)을 모두 지원합니다.

AWS Glue 4.0에서 AWS Lake Formation 기반 데이터 액세스는 AWS Glue에서 제공하는 유틸리티 클래스인 GlueContext 클래스를 통해 작동했습니다. AWS Glue 5.0에서는 네이티브 Spark SQL, Spark DataFrames를 통해 AWS Lake Formation 기반 데이터 액세스가 제공되고, 계속해서 GlueContext 클래스를 통해 지원됩니다.

전체 테이블 액세스 구현

1단계: AWS Lake Formation에서 전체 테이블 액세스 활성화

전체 테이블 액세스(FTA) 모드를 사용하려면 AWS Lake Formation에서 IAM 세션 태그 검증 없이 타사 쿼리 엔진이 데이터에 액세스하도록 허용해야 합니다. 활성화하려면 Application integration for full table access의 단계를 따릅니다.

2단계: 작업 런타임 역할에 대한 IAM 권한 설정

기본 데이터에 대한 읽기 또는 쓰기 액세스의 경우 작업 런타임 역할에는 AWS Lake Formation 권한 외에도 lakeformation:GetDataAccess IAM 권한이 필요합니다. 이 권한을 통해 AWS Lake Formation은 데이터에 액세스하기 위한 임시 자격 증명 요청을 승인합니다.

다음은 Amazon S3의 스크립트에 액세스할 수 있는 IAM 권한을 제공하는 방법, S3에 로그 업로드, AWS Glue Glue API 권한 및 AWS Lake Formation에 액세스할 수 있는 권한에 대한 정책 예제입니다.

JSON

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "ScriptAccess",
      "Effect": "Allow",
      "Action": [
        "s3:GetObject"
      ],
      "Resource": [
        "arn:aws:s3:::amzn-s3-demo-bucket/scripts/*"
      ]
    },
    {
      "Sid": "LoggingAccess",
      "Effect": "Allow",
      "Action": [
        "s3:PutObject"
      ],
      "Resource": [
        "arn:aws:s3:::amzn-s3-demo-bucket/logs/*"
      ]
    },
    {
      "Sid": "GlueCatalogAccess",
      "Effect": "Allow",
      "Action": [
        "glue:GetDatabase",
        "glue:GetDatabases",
        "glue:GetTable",
        "glue:GetTables",
        "glue:GetPartition",
        "glue:GetPartitions",
        "glue:CreateTable",
        "glue:UpdateTable"
      ],
      "Resource": [
        "arn:aws:glue:us-east-1:111122223333:catalog",
        "arn:aws:glue:us-east-1:111122223333:database/default",
        "arn:aws:glue:us-east-1:111122223333:table/default/*"
      ]
    },
    {
      "Sid": "LakeFormationAccess",
      "Effect": "Allow",
      "Action": [
        "lakeformation:GetDataAccess"
      ],
      "Resource": "*"
    }
  ]
}

2.1단계: AWS Lake Formation 권한 구성

Amazon S3에서 데이터를 읽는 AWS Glue Spark 작업에는 AWS Lake Formation SELECT 권한이 필요합니다.

Amazon S3에서 데이터를 쓰거나 삭제하는 AWS Glue Spark 작업에는 AWS Lake Formation ALL 권한이 필요합니다.

AWS Glue Data Catalog와 상호 작용하는 AWS Glue Spark 작업에는 DESCRIBE, ALTER, DROP 권한이 필요합니다.

3단계: AWS Lake Formation을 사용하여 전체 테이블 액세스를 위한 Spark 세션 초기화

AWS Lake Formation에 등록된 테이블에 액세스하려면 Spark 초기화 중에 다음 구성을 설정하여 AWS Lake Formation 자격 증명을 사용하도록 Spark를 구성해야 합니다.

AWS Lake Formation에 등록된 테이블에 액세스하려면 AWS Lake Formation 자격 증명을 사용하도록 Spark 세션을 명시적으로 구성해야 합니다. Spark 세션을 초기화할 때 다음 구성 추가:

from pyspark.sql import SparkSession
        
# Initialize Spark session with Lake Formation configurations
spark = SparkSession.builder \
    .appName("Lake Formation Full Table Access") \
    .config("spark.sql.catalog.glue_catalog", "org.apache.spark.sql.catalog.hive.GlueCatalog") \
    .config("spark.sql.catalog.glue_catalog.glue.lakeformation-enabled", "true") \
    .config("spark.sql.defaultCatalog", "glue_catalog") \
    .getOrCreate()

키 구성:

Hive

‐‐conf spark.hadoop.fs.s3.credentialsResolverClass=com.amazonaws.AWS Glue.accesscontrol.AWSLakeFormationCredentialResolver
--conf spark.hadoop.fs.s3.useDirectoryHeaderAsFolderObject=true 
--conf spark.hadoop.fs.s3.folderObject.autoAction.disabled=true
--conf spark.sql.catalog.skipLocationValidationOnCreateTable.enabled=true
--conf spark.sql.catalog.createDirectoryAfterTable.enabled=true
--conf spark.sql.catalog.dropDirectoryBeforeTable.enabled=true
        

Iceberg

--conf spark.hadoop.fs.s3.credentialsResolverClass=com.amazonaws.AWS Glue.accesscontrol.AWSLakeFormationCredentialResolver
--conf spark.hadoop.fs.s3.useDirectoryHeaderAsFolderObject=true 
--conf spark.hadoop.fs.s3.folderObject.autoAction.disabled=true
--conf spark.sql.catalog.skipLocationValidationOnCreateTable.enabled=true
--conf spark.sql.catalog.createDirectoryAfterTable.enabled=true
--conf spark.sql.catalog.dropDirectoryBeforeTable.enabled=true
--conf spark.sql.catalog.<catalog>.AWS Glue.lakeformation-enabled=true
        

사용 패턴

DataFrames에서 FTA 사용

Spark에 익숙한 사용자의 경우 DataFrames를 AWS Lake Formation 전체 테이블 액세스에서 사용할 수 있습니다.

AWS Glue 5.0은 Lake Formation 전체 테이블 액세스에 대한 네이티브 Spark 지원을 추가하여 보호되는 테이블 사용 방식을 간소화합니다. 이 기능을 사용하면 전체 테이블 액세스 권한이 부여될 때 AWS Glue 5.0 AWS Glue Spark 작업에서 데이터를 직접 읽고 쓸 수 있으므로 이전에 특정 추출, 전환, 적재(ETL) 작업의 제한 사항이 제거됩니다. 이제 탄력적 분산형 데이터세트(RDD), 사용자 지정 라이브러리, 사용자 정의 함수(UDF) 등의 고급 Spark 기능을 AWS Lake Formation 테이블에서 활용할 수 있습니다.

AWS Glue 5.0의 네이티브 Spark FTA

AWS Glue 5.0은 AWS Lake Formation에 정의된 정책에 따라 Apache Spark에서 전체 테이블 액세스(FTA) 제어를 지원합니다. 이 제어 수준은 테이블 수준에서 보안 규정을 준수해야 하는 사용 사례에 적합합니다.

Apache Iceberg 테이블 예제

from pyspark.sql import SparkSession

catalog_name = "spark_catalog"
aws_region = "us-east-1"
aws_account_id = "123456789012"
warehouse_path = "s3://amzn-s3-demo-bucket/warehouse/"

spark = SparkSession.builder \
    .config("spark.sql.extensions","org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions") \
    .config(f"spark.sql.catalog.{catalog_name}", "org.apache.iceberg.spark.SparkSessionCatalog") \
    .config(f"spark.sql.catalog.{catalog_name}.warehouse", f"{warehouse_path}") \
    .config(f"spark.sql.catalog.{catalog_name}.client.region",f"{aws_region}") \
    .config(f"spark.sql.catalog.{catalog_name}.glue.account-id",f"{aws_account_id}") \
    .config(f"spark.sql.catalog.{catalog_name}.glue.lakeformation-enabled","true") \
    .config(f"spark.sql.catalog.dropDirectoryBeforeTable.enabled", "true") \
    .config(f"spark.sql.catalog.{catalog_name}.catalog-impl", "org.apache.iceberg.aws.glue.GlueCatalog") \
    .config(f"spark.sql.catalog.{catalog_name}.io-impl", "org.apache.iceberg.aws.s3.S3FileIO") \
    .config("spark.sql.defaultCatalog", catalog_name) \  # Add this line
    .getOrCreate()

database_name = "your_database"
table_name = "your_table"

df = spark.sql(f"select * from {database_name}.{table_name}")
df.show()

필수 IAM 권한

AWS Glue 작업 실행 역할에 필요한 사항:

{
    "Action": "lakeformation:GetDataAccess",
    "Resource": "*",
    "Effect": "Allow"
}

추가로 데이터 위치에 대해 적절한 S3 액세스 권한.

Lake Formation 구성

5.0에서 AWS Glue 네이티브 Spark FTA를 사용하기 전에:

DynamicFrames에서 FTA 사용

AWS Glue의 네이티브 DynamicFrames는 최적화된 ETL 작업을 위해 AWS Lake Formation 전체 테이블 액세스에서 사용할 수 있습니다. 전체 테이블 액세스(FTA)는 테이블 수준에서 권한을 부여하는 보안 모델을 제공하고, 행 및 열 수준 권한 검사의 오버헤드를 우회하므로 세분화된 액세스 제어(FGAC)에 비해 데이터 처리 속도가 빨라집니다. 이 접근 방식은 전체 테이블을 처리하고 테이블 수준 권한이 보안 요구 사항을 충족해야 하는 경우에 유용합니다.

AWS Glue 4.0에서는 FTA를 사용하는 DynamicFrames에 특정 GlueContext 구성이 필요했습니다. FTA를 사용하는 기존 AWS Glue 4.0 DynamicFrame 코드는 AWS Glue 5.0에서 계속 작동하지만 최신 버전이 더욱 유연하게 네이티브 Spark FTA 지원도 제공합니다. 새로운 개발의 경우 DataFrames 섹션에서 설명하는 네이티브 Spark 접근 방식을 사용하는 것이 좋습니다. 특히 AWS Lake Formation 테이블이 있는 탄력적 분산형 데이터세트(RDD), 사용자 지정 라이브러리 및 사용자 정의 함수(UDF)와 같은 추가 기능이 필요한 경우 더욱 바람직합니다.

필수 권한

Glue 작업을 실행하는 IAM 역할에 필요한 사항:

AWS Glue 5.0에서의 DynamicFrame 구현 예제

from awsglue.context import GlueContext
from pyspark.context import SparkContext

# Initialize Glue context
sc = SparkContext()
glueContext = GlueContext(sc)

# Configure catalog for Iceberg tables
catalog_name = "glue_catalog"
aws_region = "us-east-1"
aws_account_id = "123456789012"
warehouse_path = "s3://amzn-s3-demo-bucket/warehouse/"

spark = glueContext.spark_session
spark.conf.set(f"spark.sql.catalog.{catalog_name}", "org.apache.iceberg.spark.SparkCatalog")
spark.conf.set(f"spark.sql.catalog.{catalog_name}.warehouse", f"{warehouse_path}")
spark.conf.set(f"spark.sql.catalog.{catalog_name}.catalog-impl", "org.apache.iceberg.aws.glue.GlueCatalog")
spark.conf.set(f"spark.sql.catalog.{catalog_name}.io-impl", "org.apache.iceberg.aws.s3.S3FileIO")
spark.conf.set(f"spark.sql.catalog.{catalog_name}.glue.lakeformation-enabled","true")
spark.conf.set(f"spark.sql.catalog.{catalog_name}.client.region",f"{aws_region}")
spark.conf.set(f"spark.sql.catalog.{catalog_name}.glue.id", f"{aws_account_id}")

# Read Lake Formation-protected table with DynamicFrame
df = glueContext.create_data_frame.from_catalog(
    database="your_database",
    table_name="your_table"
)

추가 구성

AWS Glue Studio 노트북에서 전체 테이블 액세스 모드 구성

AWS Glue Studio 노트북의 대화형 Spark 세션에서 AWS Lake Formation 등록 테이블에 액세스하려면 호환성 권한 모드를 사용해야 합니다. 대화형 세션을 시작하기 전에 %%configure 매직 명령을 사용하여 Spark 구성을 설정합니다. 세션이 시작된 후에는 적용할 수 없으므로 이 구성은 노트북의 첫 번째 명령이어야 합니다. 테이블 유형을 기반으로 구성 선택:

Hive 테이블

%%configure
--conf spark.hadoop.fs.s3.credentialsResolverClass=com.amazonaws.glue.accesscontrol.AWSLakeFormationCredentialResolver
--conf spark.hadoop.fs.s3.useDirectoryHeaderAsFolderObject=true
--conf spark.hadoop.fs.s3.folderObject.autoAction.disabled=true
--conf spark.sql.catalog.skipLocationValidationOnCreateTable.enabled=true
--conf spark.sql.catalog.createDirectoryAfterTable.enabled=true
--conf spark.sql.catalog.dropDirectoryBeforeTable.enabled=true

Iceberg 테이블

%%configure
--conf spark.hadoop.fs.s3.credentialsResolverClass=com.amazonaws.glue.accesscontrol.AWSLakeFormationCredentialResolver
--conf spark.hadoop.fs.s3.useDirectoryHeaderAsFolderObject=true
--conf spark.hadoop.fs.s3.folderObject.autoAction.disabled=true
--conf spark.sql.catalog.skipLocationValidationOnCreateTable.enabled=true
--conf spark.sql.catalog.createDirectoryAfterTable.enabled=true
--conf spark.sql.catalog.dropDirectoryBeforeTable.enabled=true
--conf spark.sql.catalog.glue_catalog.glue.lakeformation-enabled=true
--conf spark.sql.catalog.glue_catalog.warehouse=s3://example-s3-bucket_DATA_LOCATION
--conf spark.sql.catalog.glue_catalog.catalog-impl=org.apache.iceberg.aws.glue.GlueCatalog
--conf spark.sql.catalog.glue_catalog.io-impl=org.apache.iceberg.aws.s3.S3FileIO
--conf spark.sql.catalog.glue_catalog.glue.account-id=ACCOUNT_ID
--conf spark.sql.catalog.glue_catalog.glue.region=REGION

자리 표시자 바꾸기:

지원되는 작업

이러한 작업은 AWS Lake Formation 자격 증명을 사용하여 테이블 데이터에 액세스합니다.

AWS Glue 4.0에서 AWS Glue 5.0 FTA로 마이그레이션

4.0 GlueContext FTA에서 AWS Glue 5.0 AWS Glue 네이티브 Spark FTA로 마이그레이션하는 경우:

고려 사항 및 제한