기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Iceberg 메타데이터 관리

Iceberg 테이블 형식으로 특성 그룹을 생성하면 Amazon SageMaker 특성 저장소는 기본 구성 값을 사용하여 사용자를 대신하여 기본 Iceberg 테이블을 생성하고 관리합니다. 특성 그룹 생성 시 Iceberg 테이블 속성을 구성하고, 기존 특성 그룹의 속성을 업데이트하고, 테이블에 현재 설정된 속성을 볼 수 있습니다. 이러한 설정을 통해 스냅샷 보존, 메타데이터 파일 관리, 쓰기 동작과 같은 구성 파라미터를 제어하여 오프라인 저장소 테이블의 전체 크기와 성능을 관리할 수 있습니다.

Iceberg 테이블 속성의 하위 집합만 특성 저장소와의 호환성이 검증되었습니다. 이 지원되는 세트 외부에서 속성을 구성한다고 해서 올바른 동작이 보장되는 것은 아닙니다. 지원되는 속성의 전체 목록은 섹션을 참조하세요허용된 Iceberg 속성.

사전 조건: 특성 그룹에 Iceberg 테이블 형식을 사용하는 오프라인 저장소가 있어야 합니다.

IcebergProperties 유형

IcebergProperties 유형은 Iceberg 속성 구성에 대해 검증된 래퍼를 제공하여 모든 키가 허용된 세트에 속하는지 확인하고 중복 항목을 방지합니다.

class IcebergProperties(Base):
    """Configuration for Iceberg table properties in a Feature Group offline store."""
    properties: Optional[Dict[str, str]] = None

속성 검증

유효하지 않고 중복된 키는 생성 또는 업데이트 함수에 전달될 때 오류가 발생합니다. 선택적으로 validate_property_keys() 메서드를 사용하여 키를 검증할 수 있습니다. 이는 기존 IcebergProperties 객체에서 속성을 추가하거나 제거할 때 유용합니다.

iceberg_properties = IcebergProperties(  # Validates on creation
    properties={
        "write.target-file-size-bytes": "268435456",
        "write.delete.mode": "merge-on-read",
    }
)

# Add non-allowed property
iceberg_properties.properties.update({"write.delete.isolation-level": "Snapshot"})

# Validate again — throws error because of non-allowed property
iceberg_properties.validate_property_keys()

Iceberg 속성을 사용하여 특성 그룹 생성

FeatureGroupManager.create 함수는 유형의 iceberg_properties 파라미터를 허용합니다IcebergProperties. 특성 그룹을 생성하고 기본 AWS Glue 테이블에서 Iceberg 속성을 업데이트하기 전에 생성이 완료될 때까지 기다립니다.

또는를 생성하고 create를 FeatureGroup호출한 다음 특성 그룹 객체를 FeatureGroupManager 클래스에 전달하고를 호출update하여 특성 그룹이 생성을 완료하는 동안 차단되지 않도록 할 수 있습니다.

fg = FeatureGroupManager.create(
    # ...other parameters...
    offline_store_config=OfflineStoreConfig(
        s3_storage_config=S3StorageConfig(s3_uri="s3://my-bucket/features/"),
        table_format="Iceberg",  # Must use Iceberg table format
    ),
    iceberg_properties=IcebergProperties(
        properties={
            "write.target-file-size-bytes": "536870912",
            "history.expire.min-snapshots-to-keep": "3",
        }
    ),
)

기존 특성 그룹의 Iceberg 속성 업데이트

update 함수는 유형의 iceberg_properties 파라미터를 허용합니다IcebergProperties. 이미 생성된 특성 그룹을 가져와 오프라인 저장소 AWS Glue Data Catalog 의를 검색하고 지정된 Iceberg 속성을 설정합니다.

fg = FeatureGroupManager.get(feature_group_name="my-feature-group")
fg.update(
    iceberg_properties=IcebergProperties(
        properties={
            "write.target-file-size-bytes": "268435456",
            "write.delete.mode": "merge-on-read",
        }
    ),
)

특성 그룹의 Iceberg 속성 보기

FeatureGroupManager.get 함수는 include_iceberg_properties 파라미터를 수락합니다. 로 설정하면 수동으로 설정되고 허용된 목록의 일부인 Iceberg 속성을 True검색하여 반환된 객체의 iceberg_properties 필드에 추가합니다.

이렇게 하면 허용된 목록의 일부인 설정된 속성만 반환됩니다. 모든 AWS Glue 테이블 속성을 가져오려면 AWS Glue API를 직접 사용합니다. 허용된 Iceberg 속성이 표시되지 않으면 명시적으로 설정되지 않았으며 기본값을 사용합니다.

fg = FeatureGroupManager.get(
    feature_group_name="my-feature-group",
    include_iceberg_properties=True,
)
print(fg.iceberg_properties.properties)
# e.g. {"write.target-file-size-bytes": "536870912"}

필수 권한

AmazonSageMakerFeatureStoreAccess 및 AmazonSageMakerFullAccess 관리형 정책이 모두 사용 중인 IAM 역할에 연결되어 있는지 확인합니다. 액세스 패턴을 기반으로 정책을 관리합니다.

허용된 Iceberg 속성

다음 표에는 특성 저장소와 함께 사용하도록 검증된 Iceberg 테이블 속성이 나열되어 있습니다. 이러한 속성에 대한 자세한 내용은 Apache Iceberg 설명서의 테이블 구성을 참조하세요.