Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Bagaimana Iceberg bekerja
Iceberg melacak file data individu dalam tabel, bukan di direktori. Dengan cara ini, penulis dapat membuat file data di tempat (file tidak dipindahkan atau diubah). Juga, penulis hanya dapat menambahkan file ke tabel dalam komit eksplisit. Status tabel dipertahankan dalam file metadata. Semua perubahan pada status tabel membuat file metadata baru yang secara atomik menggantikan metadata lama. File metadata tabel melacak skema tabel, konfigurasi partisi, dan properti lainnya.
Ini juga termasuk snapshot dari isi tabel. Setiap snapshot adalah satu set lengkap file data dalam tabel pada suatu titik waktu. Snapshot tercantum dalam file metadata, tetapi file dalam snapshot disimpan dalam file manifes terpisah. Transisi atom dari satu file metadata tabel ke file berikutnya menyediakan isolasi snapshot. Pembaca menggunakan snapshot yang terkini saat memuat metadata tabel. Pembaca tidak terpengaruh oleh perubahan sampai mereka menyegarkan dan mengambil lokasi metadata baru. File data dalam snapshot disimpan dalam satu atau beberapa file manifes yang berisi baris untuk setiap file data dalam tabel, data partisi, dan metriknya. Snapshot adalah penyatuan semua file dalam manifestnya. File manifes juga dapat dibagikan di antara snapshot untuk menghindari penulisan ulang metadata yang jarang berubah.
Diagram snapshot gunung es
Iceberg menawarkan fitur-fitur berikut:
-
Mendukung transaksi ACID dan perjalanan waktu di danau data Amazon S3 Anda.
-
Percobaan ulang komit mendapat manfaat dari keunggulan kinerja konkurensi optimis.
-
File-level Resolusi konflik menghasilkan konkurensi yang tinggi.
-
Dengan statistik min-max per kolom dalam metadata, Anda dapat melewati file, yang meningkatkan kinerja untuk kueri selektif.
-
Anda dapat mengatur tabel ke dalam tata letak partisi fleksibel, dengan evolusi partisi memungkinkan pembaruan untuk skema partisi. Kueri dan volume data kemudian dapat berubah tanpa bergantung pada direktori fisik.
-
Mendukung evolusi skema
dan penegakan. -
Tabel gunung es bertindak sebagai wastafel idempoten dan sumber yang dapat dimainkan ulang. Ini memungkinkan streaming dan dukungan batch dengan pipeline yang tepat sekali. Idempotent sink melacak operasi penulisan yang telah berhasil di masa lalu. Oleh karena itu, wastafel dapat meminta data lagi jika terjadi kegagalan, dan menjatuhkan data jika telah dikirim beberapa kali.
-
Lihat riwayat dan garis keturunan, termasuk evolusi tabel, riwayat operasi, dan statistik untuk setiap komit.
-
Bermigrasi dari dataset yang ada dengan pilihan format data (Parquet, ORC, Avro) dan mesin analitik (Spark, Trino, PrestoDB, Flink, Hive).
