翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Iceberg メタデータ管理

Iceberg テーブル形式で特徴量グループを作成すると、Amazon SageMaker Feature Store はデフォルトの設定値を使用して、ユーザーに代わって基盤となる Iceberg テーブルを作成および管理します。特徴量グループの作成時に Iceberg テーブルプロパティを設定し、既存の特徴量グループのプロパティを更新して、テーブルに現在設定されているプロパティを表示できます。これらの設定により、スナップショットの保持、メタデータファイル管理、書き込み動作などの設定パラメータを制御して、オフラインストアテーブルの全体的なサイズとパフォーマンスを管理できます。

Iceberg テーブルプロパティのサブセットのみが Feature Store との互換性について検証されています。このサポートされているセットの外部でプロパティを設定しても、正しい動作は保証されません。サポートされているプロパティの完全なリストについては、「」を参照してください許可された Iceberg プロパティ。

前提条件: 特徴量グループには Iceberg テーブル形式を使用するオフラインストアが必要です。

IcebergProperties タイプ

IcebergProperties タイプは Iceberg プロパティ設定の検証済みラッパーを提供し、すべてのキーが許可されたセットに属し、エントリの重複を防ぎます。

class IcebergProperties(Base):
    """Configuration for Iceberg table properties in a Feature Group offline store."""
    properties: Optional[Dict[str, str]] = None

プロパティの検証

キーが無効で重複している場合、作成または更新関数に渡されるとエラーが発生します。オプションで、 validate_property_keys()メソッドを使用してキーを検証できます。これは、既存のIcebergPropertiesオブジェクトからプロパティを追加または削除する場合に役立ちます。

iceberg_properties = IcebergProperties(  # Validates on creation
    properties={
        "write.target-file-size-bytes": "268435456",
        "write.delete.mode": "merge-on-read",
    }
)

# Add non-allowed property
iceberg_properties.properties.update({"write.delete.isolation-level": "Snapshot"})

# Validate again — throws error because of non-allowed property
iceberg_properties.validate_property_keys()

Iceberg プロパティを使用して特徴量グループを作成する

FeatureGroupManager.create 関数は、 型の iceberg_propertiesパラメータを受け入れますIcebergProperties。特徴量グループを作成し、作成が完了するまで待ってから、基になる AWS Glue テーブルの Iceberg プロパティを更新します。

または、 を作成しFeatureGroup、 を呼び出してからcreate、特徴量グループオブジェクトを FeatureGroupManager クラスに渡し、特徴量グループの作成中にブロックされないupdateように を呼び出します。

fg = FeatureGroupManager.create(
    # ...other parameters...
    offline_store_config=OfflineStoreConfig(
        s3_storage_config=S3StorageConfig(s3_uri="s3://my-bucket/features/"),
        table_format="Iceberg",  # Must use Iceberg table format
    ),
    iceberg_properties=IcebergProperties(
        properties={
            "write.target-file-size-bytes": "536870912",
            "history.expire.min-snapshots-to-keep": "3",
        }
    ),
)

既存の特徴量グループの Iceberg プロパティを更新する

update 関数は、 型の iceberg_propertiesパラメータを受け入れますIcebergProperties。既に作成された特徴量グループを取得し、オフラインストア AWS Glue Data Catalog の を取得し、指定された Iceberg プロパティを設定します。

fg = FeatureGroupManager.get(feature_group_name="my-feature-group")
fg.update(
    iceberg_properties=IcebergProperties(
        properties={
            "write.target-file-size-bytes": "268435456",
            "write.delete.mode": "merge-on-read",
        }
    ),
)

特徴量グループの Iceberg プロパティを表示する

FeatureGroupManager.get 関数は include_iceberg_propertiesパラメータを受け入れます。に設定するとTrue、手動で設定され、許可されたリストの一部である Iceberg プロパティを取得し、返されたオブジェクトの iceberg_propertiesフィールドにそれらを追加します。

これにより、許可されたリストの一部であるセットプロパティのみが返されます。すべての AWS Glue テーブルプロパティを取得するには、 AWS Glue API を直接使用します。許可された Iceberg プロパティが表示されない場合、明示的に設定されておらず、デフォルト値が使用されます。

fg = FeatureGroupManager.get(
    feature_group_name="my-feature-group",
    include_iceberg_properties=True,
)
print(fg.iceberg_properties.properties)
# e.g. {"write.target-file-size-bytes": "536870912"}

必要なアクセス許可

AmazonSageMakerFeatureStoreAccess と AmazonSageMakerFullAccess 管理ポリシーの両方が、使用している IAM ロールにアタッチされていることを確認します。アクセスパターンに基づいてポリシーを管理します。

許可された Iceberg プロパティ

次の表に、Feature Store での使用が検証された Iceberg テーブルのプロパティを示します。これらのプロパティの詳細については、Apache Iceberg ドキュメントの「テーブル設定」を参照してください。