Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Bekerja dengan Apache Iceberg V3

Apache Iceberg Version 3 (V3) adalah versi terbaru dari spesifikasi format tabel Apache Iceberg, memperkenalkan kemampuan canggih untuk membangun data lake skala petabyte dengan peningkatan kinerja dan pengurangan biaya operasional. V3 mengatasi hambatan kinerja umum yang ditemui dengan Versi 2 (V2), terutama seputar pembaruan batch dan penghapusan kepatuhan.

AWS menyediakan dukungan untuk vektor penghapusan, garis keturunan baris, dan tipe data varian seperti yang didefinisikan dalam spesifikasi Apache Iceberg Version 3 (V3). Anda dapat menggunakan fitur-fitur ini dengan Apache Spark di Amazon EMR, AWS Glue ETL, Amazon SageMaker Unified Studio Notebooks, dan Apache Iceberg tabel di AWS Glue Data Catalog, termasuk Tabel Amazon S3. Jenis data varian khusus untuk Tabel S3.

Fitur Utama di V3

Kompatibilitas Versi

V3 mempertahankan kompatibilitas mundur dengan tabel V2. AWS layanan mendukung tabel V2 dan V3 secara bersamaan, memungkinkan Anda untuk:

Memulai dengan V3

Prasyarat

Sebelum bekerja dengan tabel V3, pastikan Anda memiliki:

Membuat Tabel V3

Membuat Tabel V3 Baru

Untuk membuat tabel Iceberg V3 baru, atur properti tabel format-version ke 3.

Menggunakan Spark SQL:

CREATE TABLE IF NOT EXISTS myns.orders_v3 (  
    order_id bigint,  
    customer_id string,  
    order_date date,  
    total_amount decimal(10,2),  
    status string,  
    created_at timestamp  
)  
USING iceberg  
TBLPROPERTIES (  
    'format-version' = '3'  
)
                

Memutakhirkan Tabel V2 ke V3

Anda dapat memutakhirkan tabel V2 yang ada ke V3 secara atomik tanpa menulis ulang data.

Menggunakan Spark SQL:

ALTER TABLE myns.existing_table  
SET TBLPROPERTIES ('format-version' = '3')
                

Apa yang terjadi selama upgrade:

Mengaktifkan Vektor Penghapusan

Untuk memanfaatkan Vektor Penghapusan untuk memperbarui, menghapus, dan menggabungkan, konfigurasikan mode tulis Anda.

Menggunakan Spark SQL:

ALTER TABLE myns.orders_v3  
SET TBLPROPERTIES ('format-version' = '3',  
                   'write.delete.mode' = 'merge-on-read',  
                   'write.update.mode' = 'merge-on-read',  
                   'write.merge.mode' = 'merge-on-read'  
                  )
            

Pengaturan ini memastikan bahwa operasi pembaruan, penghapusan, dan penggabungan membuat file Vektor Penghapusan alih-alih menulis ulang seluruh file data.

Memanfaatkan Pel Row-lineage acakan Perubahan

V3 secara otomatis menambahkan bidang metadata garis keturunan baris untuk melacak perubahan.

Menggunakan Spark SQL:

# Query with parameter value provided  
last_processed_sequence = 47  
  
SELECT   
    id,  
    data,  
    _row_id,  
    _last_updated_sequence_number  
FROM myns.orders_v3  
WHERE _last_updated_sequence_number > :last_processed_sequence
            

Bidang _row_id secara unik mengidentifikasi setiap baris, sementara _last_updated_sequence_number melacak kapan baris terakhir dimodifikasi. Gunakan bidang ini untuk:

Menggunakan tipe data varian

Dengan tipe data varian, Anda dapat menulis data semi-terstruktur seperti JSON langsung di tabel Iceberg Anda tanpa menentukan skema tetap terlebih dahulu. Anda dapat menulis data lebih cepat sambil tetap mendapatkan kinerja kueri analitis yang efisien. Mesin yang kompatibel dengan Iceberg V3 merobek data semi-terstruktur Anda menjadi kolom tersembunyi saat Anda menulisnya. Kolom tersembunyi ini menghasilkan statistik kolom parket yang digunakan mesin kueri untuk pengoptimalan seperti pemangkasan file.

Membuat tabel dengan kolom varian menggunakan Spark SQL:

CREATE TABLE IF NOT EXISTS myns.events (
    event_id bigint,
    event_timestamp timestamp,
    source string,
    event_data VARIANT
)
USING iceberg
TBLPROPERTIES (
    'format-version' = '3'
)
            

Memasukkan data semi-terstruktur ke kolom varian:

INSERT INTO myns.events VALUES (
    1,
    current_timestamp(),
    'web-app',
    PARSE_JSON('{"user_id": "u-1234", "action": "page_view", "page": "/products", "duration_ms": 350}')
);

INSERT INTO myns.events VALUES (
    2,
    current_timestamp(),
    'mobile-app',
    PARSE_JSON('{"user_id": "u-5678", "action": "purchase", "items": [{"sku": "A100", "qty": 2}], "total": 49.99}')
);
            

Dengan Tabel S3, pemeliharaan tabel untuk kolom varian, termasuk pemadatan, berjalan secara otomatis. Pemadatan mengkonsolidasikan data dari sumber semi-terstruktur dari file kecil menjadi file yang lebih besar yang dapat dibaca mesin Iceberg dengan lebih efisien, meningkatkan kinerja kueri dari waktu ke waktu.

Praktik Terbaik untuk V3

Kapan Menggunakan V3

Pertimbangkan untuk meningkatkan ke atau memulai dengan V3 ketika:

Mengoptimalkan Kinerja Tulis

Mengoptimalkan Kinerja Baca

Strategi Migrasi

Saat bermigrasi dari V2 ke V3:

Pertimbangan Kompatibilitas

Pertimbangan untuk pemadatan

Pemadatan menulis file parket varian parket yang diparut secara default. Pembaca lama yang tidak mendukung penghancuran mungkin gagal membaca file yang dipadatkan. Anda dapat menonaktifkan penghancuran dengan mengatur properti write.variant.shredding.enabled=false tabel.

Pemecahan masalah

Masalah Umum

Mendapatkan Bantuan

Harga

Ketersediaan

Dukungan Apache Iceberg V3 untuk vektor penghapusan dan garis keturunan baris tersedia di semua Wil AWS ayah tempat Amazon EMR, Katalog Data AWS Glue, AWS Glue ETL, dan Tabel S3 beroperasi.

Jenis data varian dalam Tabel S3 tersedia di Wil AWS ayah berikut: AS Timur (Virginia Utara), AS Timur (Ohio), AS Barat (Oregon), Asia Pasifik (Mumbai), Asia Pasifik (Seoul), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Tokyo), Kanada (Tengah), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Paris), Eropa (Stockholm), dan Amerika Selatan (São Paulo).

Sumber Daya Tambahan