Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Manajemen metadata gunung es

Saat Anda membuat grup fitur dengan format tabel Iceberg, Amazon SageMaker Feature Store membuat dan mengelola tabel Iceberg yang mendasarinya atas nama Anda menggunakan nilai konfigurasi default. Anda dapat mengonfigurasi properti tabel Iceberg pada pembuatan grup fitur, memperbarui properti pada grup fitur yang ada, dan melihat properti yang saat ini ditetapkan pada tabel. Pengaturan ini memberi Anda kontrol atas parameter konfigurasi seperti retensi snapshot, manajemen file metadata, dan perilaku tulis untuk mengelola ukuran dan kinerja keseluruhan tabel toko offline Anda.

Hanya sebagian dari properti tabel Iceberg yang telah divalidasi untuk kompatibilitas dengan Feature Store. Mengonfigurasi properti di luar set yang didukung ini tidak menjamin perilaku yang benar. Untuk daftar lengkap properti yang didukung, lihatProperti Iceberg yang diizinkan.

Prasyarat: Grup fitur Anda harus memiliki toko offline menggunakan format tabel Iceberg.

IcebergProperties jenis

IcebergPropertiesJenis ini menyediakan pembungkus yang divalidasi untuk konfigurasi properti Iceberg, memastikan semua kunci milik set yang diizinkan dan mencegah entri duplikat.

class IcebergProperties(Base):
    """Configuration for Iceberg table properties in a Feature Group offline store."""
    properties: Optional[Dict[str, str]] = None

Memvalidasi properti

Kunci tidak valid dan duplikat menghasilkan kesalahan saat diteruskan ke fungsi buat atau perbarui. Anda dapat memvalidasi kunci secara opsional menggunakan metode ini. validate_property_keys() Ini sangat membantu saat menambahkan atau menghapus properti dari IcebergProperties objek yang ada.

iceberg_properties = IcebergProperties(  # Validates on creation
    properties={
        "write.target-file-size-bytes": "268435456",
        "write.delete.mode": "merge-on-read",
    }
)

# Add non-allowed property
iceberg_properties.properties.update({"write.delete.isolation-level": "Snapshot"})

# Validate again — throws error because of non-allowed property
iceberg_properties.validate_property_keys()

Buat grup fitur dengan properti Iceberg

FeatureGroupManager.createFungsi menerima iceberg_properties parameter tipeIcebergProperties. Ini membuat grup fitur dan menunggu pembuatan selesai sebelum memperbarui properti Iceberg pada tabel yang mendasarinya. AWS Glue

Atau, Anda dapat membuatFeatureGroup, memanggilcreate, lalu meneruskan objek grup fitur ke FeatureGroupManager kelas dan memanggil update untuk menghindari pemblokiran saat grup fitur selesai dibuat.

fg = FeatureGroupManager.create(
    # ...other parameters...
    offline_store_config=OfflineStoreConfig(
        s3_storage_config=S3StorageConfig(s3_uri="s3://my-bucket/features/"),
        table_format="Iceberg",  # Must use Iceberg table format
    ),
    iceberg_properties=IcebergProperties(
        properties={
            "write.target-file-size-bytes": "536870912",
            "history.expire.min-snapshots-to-keep": "3",
        }
    ),
)

Perbarui properti Iceberg pada grup fitur yang ada

updateFungsi menerima iceberg_properties parameter tipeIcebergProperties. Dibutuhkan grup fitur yang sudah dibuat, mengambil toko offline, dan menetapkan properti Iceberg yang ditentukan. AWS Glue Data Catalog

fg = FeatureGroupManager.get(feature_group_name="my-feature-group")
fg.update(
    iceberg_properties=IcebergProperties(
        properties={
            "write.target-file-size-bytes": "268435456",
            "write.delete.mode": "merge-on-read",
        }
    ),
)

Lihat properti Iceberg pada grup fitur

FeatureGroupManager.getFungsi menerima include_iceberg_properties parameter. Ketika diatur keTrue, ia mengambil properti Iceberg yang telah diatur secara manual dan merupakan bagian dari daftar yang diizinkan, dan menambahkannya ke iceberg_properties bidang di objek yang dikembalikan.

Ini hanya mengembalikan properti set yang merupakan bagian dari daftar yang diizinkan. Untuk mendapatkan semua properti AWS Glue tabel, gunakan AWS Glue API secara langsung. Jika properti Iceberg yang diizinkan tidak muncul, properti tersebut belum disetel secara eksplisit dan menggunakan nilai defaultnya.

fg = FeatureGroupManager.get(
    feature_group_name="my-feature-group",
    include_iceberg_properties=True,
)
print(fg.iceberg_properties.properties)
# e.g. {"write.target-file-size-bytes": "536870912"}

Izin yang diperlukan

Pastikan kebijakan AmazonSageMakerFeatureStoreAccessdan kebijakan AmazonSageMakerFullAccessterkelola melekat pada peran IAM yang Anda gunakan. Kelola kebijakan Anda berdasarkan pola akses Anda.

Properti Iceberg yang diizinkan

Tabel berikut mencantumkan properti tabel Iceberg yang telah divalidasi untuk digunakan dengan Feature Store. Untuk informasi selengkapnya tentang properti ini, lihat Konfigurasi tabel dalam dokumentasi Apache Iceberg.