Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Prasyarat untuk menggunakan Apache Iceberg Tables sebagai tujuan
Pilih salah satu opsi berikut ini untuk melengkapi prasyarat yang diperlukan.
Topik
Prasyarat untuk dikirim ke Tabel Gunung Es di Amazon S3
Sebelum memulai, lengkapi prasyarat berikut.
-
Membuat bucket Amazon S3 — Anda harus membuat bucket Amazon S3 untuk menambahkan jalur file metadata selama pembuatan tabel. Untuk informasi selengkapnya, lihat Membuat bucket S3.
-
Buat peran IAM dengan izin yang diperlukan - Firehose memerlukan peran IAM dengan izin khusus untuk mengakses AWS Glue tabel dan menulis data ke Amazon S3. Peran yang sama digunakan untuk memberikan AWS Glue akses ke bucket Amazon S3. Anda memerlukan peran IAM ini saat membuat Tabel Gunung Es dan aliran Firehose. Untuk informasi selengkapnya, lihat Berikan akses Firehose ke Tabel Amazon S3.
-
Buat Tabel Gunung Es Apache - Jika Anda mengonfigurasi kunci unik di aliran Firehose untuk pembaruan dan penghapusan, Firehose memvalidasi jika tabel dan kunci unik ada sebagai bagian dari pembuatan aliran. Untuk skenario ini, Anda harus membuat tabel sebelum membuat aliran Firehose. Anda dapat menggunakan AWS Glue untuk membuat Apache Iceberg Tables. Untuk informasi selengkapnya, lihat Membuat tabel Apache Iceberg. Jika Anda tidak mengonfigurasi kunci unik di aliran Firehose, maka Anda tidak perlu membuat tabel Iceberg sebelum membuat aliran Firehose.
catatan
Firehose mendukung versi tabel berikut dan format untuk tabel Apache Iceberg.
-
Versi format tabel - Firehose hanya mendukung format tabel V2
. Jangan membuat tabel dalam format V1, jika tidak, Anda mendapatkan kesalahan dan data dikirim ke bucket kesalahan S3 sebagai gantinya. -
Format penyimpanan data — Firehose menulis data ke Apache Iceberg Tables dalam format Parket.
-
Operasi tingkat baris - Firehose mendukung mode penulisan data Merge-on-Read (MOR) ke Apache Iceberg Tables.
-
Prasyarat untuk dikirim ke Tabel Amazon S3
Untuk mengirimkan data ke bucket tabel Amazon S3, lengkapi prasyarat berikut.
-
Buat bucket S3 Table, namespace, tabel di bucket tabel, dan langkah integrasi lainnya yang diuraikan dalam Memulai Tabel Amazon S3. Nama kolom harus huruf kecil karena keterbatasan yang diberlakukan oleh integrasi katalog Tabel S3, seperti yang ditentukan dalam batasan integrasi katalog tabel S3.
-
Buat peran IAM dengan izin yang diperlukan - Firehose memerlukan peran IAM dengan izin khusus untuk mengakses AWS Glue tabel dan menulis data ke tabel di bucket tabel Amazon S3. Untuk menulis ke tabel di bucket tabel S3, Anda juga harus memberikan peran IAM dengan izin yang diperlukan. AWS Lake Formation Anda mengonfigurasi peran IAM ini saat membuat aliran Firehose. Untuk informasi selengkapnya, lihat Memberikan akses Firehose ke Tabel Amazon S3.
-
Konfigurasikan AWS Lake Formation izin — AWS Lake Formation mengelola akses ke sumber daya tabel Anda. Lake Formation menggunakan model izinnya sendiri yang memungkinkan kontrol akses berbutir halus untuk sumber daya Katalog Data.
Untuk step-by-step integrasi, lihat blog Membangun data lake untuk streaming data dengan Amazon S3 Tables dan Amazon Data Firehose
