Pertimbangan dan batasan untuk pekerjaan pemeliharaan - Amazon Simple Storage Service

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pertimbangan dan batasan untuk pekerjaan pemeliharaan

Amazon S3 menawarkan operasi pemeliharaan untuk meningkatkan kinerja tabel S3 atau bucket meja Anda. Opsi ini adalah pemadatan file, manajemen snapshot, dan penghapusan file yang tidak direferensikan. Berikut ini adalah batasan dan pertimbangan untuk opsi manajemen ini.

Pertimbangan untuk pemadatan

Pertimbangan berikut berlaku untuk pemadatan. Untuk informasi lebih lanjut tentang pemadatan, lihatPemeliharaan untuk tabel.

  • Pemadatan hanya didukung pada jenis Apache Parquet file.

  • Pemadatan tidak mendukung tipe data: Tetap.

  • Pemadatan tidak mendukung jenis kompresi:brotli,lz4.

Pertimbangan untuk manajemen snapshot

Pertimbangan berikut berlaku untuk manajemen snapshot. Untuk informasi selengkapnya tentang manajemen snapshot, lihatPemeliharaan untuk tabel.

  • Snapshot akan dipertahankan hanya jika kedua kriteria terpenuhi: jumlah minimum snapshot yang harus disimpan dan periode retensi yang ditentukan.

  • Manajemen snapshot menghapus metadata snapshot kedaluwarsa dari Apache Iceberg, mencegah kueri perjalanan waktu untuk snapshot kedaluwarsa dan secara opsional menghapus file data terkait.

  • Manajemen snapshot tidak mendukung nilai retensi yang Anda konfigurasikan sebagai properti tabel Iceberg dalam metadata.json file atau melalui perintah ALTER TABLE SET TBLPROPERTIES SQL, termasuk retensi berbasis cabang atau tag. Manajemen snapshot dinonaktifkan saat Anda mengonfigurasi kebijakan penyimpanan berbasis cabang atau tag, atau mengonfigurasi kebijakan penyimpanan pada metadata.json file yang lebih panjang dari nilai yang dikonfigurasi melalui API. PutTableMaintenanceConfiguration Dalam kasus ini S3 tidak akan kedaluwarsa atau menghapus snapshot dan Anda perlu menghapus snapshot secara manual atau menghapus properti dari tabel Iceberg Anda untuk menghindari biaya penyimpanan.

Pertimbangan untuk penghapusan file yang tidak direferensikan

Pertimbangan berikut berlaku untuk penghapusan file yang tidak direferensikan. Untuk informasi selengkapnya tentang penghapusan file yang tidak direferensikan, lihat. Pemeliharaan untuk ember meja

  • Penghapusan file yang tidak direferensikan menghapus data dan file metadata yang tidak lagi direferensikan oleh metadata Iceberg jika waktu pembuatannya sebelum periode retensi.

Batas untuk pemeliharaan ember meja dan meja S3

Operasi pemeliharaan Properti Dapat dikonfigurasi pada tingkat ember meja? Dapat dikonfigurasi di tingkat tabel? Nilai default Nilai minimum
Pemadatan targetFileSizeMB Tidak Ya 512MB 64MB
Manajemen snapshot MinimumSnapshots Tidak Ya 1 1
Manajemen snapshot maximumSnapshotAge Tidak Ya 120 jam 1 jam
Penghapusan file yang tidak direferensikan Hari yang tidak direferensikan Ya Tidak 3 hari 1 hari
Penghapusan file yang tidak direferensikan nonCurrentDays Ya Tidak 10 hari 1 hari
catatan

Tabel S3 menerapkan row-group-default ukuran parket 128 MB.