View a markdown version of this page

Menemukan data Anda dengan tabel Metadata S3 - Amazon Simple Storage Service
Cara kerja tabel metadata

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menemukan data Anda dengan tabel Metadata S3

Amazon S3 Metadata mempercepat penemuan data dengan secara otomatis menangkap metadata untuk objek di bucket tujuan umum Anda dan menyimpannya dalam Apache Iceberg tabel read-only yang dikelola sepenuhnya yang dapat Anda kueri. Tabel hanya baca ini disebut tabel metadata. Saat objek ditambahkan ke, diperbarui, atau dihapus dari bucket tujuan umum Anda, Metadata S3 secara otomatis menyegarkan tabel metadata yang sesuai untuk mencerminkan perubahan terbaru.

Secara default, S3 Metadata menyediakan tiga jenis metadata:

  • System-defined metadata, seperti waktu pembuatan objek dan kelas penyimpanan

  • Metadata objek kustom, seperti tag, anotasi, dan metadata yang ditentukan pengguna yang disertakan selama upload objek

  • Metadata peristiwa, seperti saat objek diperbarui atau dihapus, dan Akun AWS yang membuat permintaan

Dengan Metadata S3, Anda dapat dengan mudah menemukan, menyimpan, dan menanyakan metadata untuk objek S3 Anda, sehingga Anda dapat dengan cepat menyiapkan data untuk digunakan dalam analisis bisnis, pengambilan konten, kecerdasan buatan dan pelatihan model pembelajaran mesin (AI/ML), dan banyak lagi.

Untuk setiap bucket tujuan umum, Anda dapat membuat konfigurasi tabel metadata yang berisi hingga tiga tabel metadata:

  • Tabel jurnal – Secara default, konfigurasi tabel metadata Anda berisi sebuah tabel jurnal, yang mencatat peristiwa yang terjadi untuk objek di dalam bucket Anda. Tabel jurnal mencatat perubahan yang dilakukan pada data Anda hampir secara real time, sehingga membantu Anda mengidentifikasi data baru yang diunggah ke bucket Anda, melacak objek yang baru saja dihapus, memantau transisi siklus hidup, dan banyak lagi. Tabel jurnal mencatat objek baru dan pembaruan untuk objek Anda serta metadatanya (pembaruan yang memerlukan operasi PUT atau operasi DELETE).

    Tabel jurnal menangkap metadata hanya untuk peristiwa perubahan (seperti unggahan, pembaruan, dan penghapusan) yang terjadi setelah Anda membuat konfigurasi tabel metadata. Karena tabel ini dapat dikueri, Anda dapat mengaudit perubahan pada bucket Anda melalui kueri SQL sederhana.

    Tabel jurnal diperlukan untuk setiap konfigurasi tabel metadata. (Dalam rilis awal Metadata S3, tabel jurnal disebut "tabel metadata".)

    Untuk informasi selengkapnya tentang data apa yang disimpan dalam tabel jurnal, lihatSkema tabel jurnal Metadata S3.

    Untuk membantu meminimalkan biaya penyimpanan, Anda dapat memilih untuk mengaktifkan kedaluwarsa catatan tabel jurnal. Untuk informasi selengkapnya, lihat Catatan tabel jurnal yang kedaluwarsa.

  • Tabel inventaris langsung – Anda memiliki opsi untuk menambahkan tabel inventaris langsung ke konfigurasi tabel metadata Anda. Tabel inventaris langsung menyediakan inventaris sederhana dan dapat dikueri untuk semua objek serta versinya di dalam bucket Anda sehingga Anda dapat menentukan status terbaru data Anda.

    Anda dapat menggunakan tabel inventaris langsung untuk menyederhanakan serta mempercepat alur kerja bisnis dan tugas big data dengan mengidentifikasi objek yang ingin Anda proses untuk berbagai beban kerja. Misalnya, Anda dapat menanyakan tabel inventaris langsung untuk menemukan semua objek yang disimpan di kelas penyimpanan tertentu, semua objek dengan tag tertentu, semua objek yang tidak dienkripsi dengan enkripsi sisi server menggunakan AWS Key Management Service (AWS KMS) keys (SSE-KMS), dan banyak lagi.

    Saat Anda mengaktifkan tabel inventaris langsung untuk konfigurasi tabel metadata, tabel akan melalui proses yang dikenal sebagai pengisian ulang, di mana Amazon S3 memindai bucket tujuan umum Anda untuk mengambil metadata awal untuk semua objek yang ada di bucket. Tergantung pada jumlah objek dalam ember Anda, proses ini dapat memakan waktu beberapa menit (minimal 15 menit) hingga berjam-jam. Ketika proses pengisian ulang selesai, status tabel inventaris langsung Anda berubah dari Pengisian Kembali menjadi Aktif. Setelah pengisian ulang selesai, pembaruan objek Anda biasanya tercermin dalam tabel inventaris langsung dalam waktu satu jam.

    Anda dikenakan biaya untuk mengisi kembali tabel inventaris Anda. Jika bucket tujuan umum Anda memiliki lebih dari satu miliar objek, Anda juga dikenakan biaya bulanan untuk tabel inventaris langsung Anda. Untuk informasi selengkapnya, lihat Harga Amazon S3.

    Untuk informasi selengkapnya tentang data apa yang disimpan dalam tabel inventaris langsung, lihatSkema tabel inventaris langsung Metadata S3.

  • Tabel anotasi — Secara opsional, Anda dapat menambahkan tabel anotasi ke konfigurasi tabel metadata Anda. Tabel anotasi melacak anotasi terbaru pada objek di bucket Anda dan membuat konten anotasi dapat dikueri secara langsung. Setiap baris mewakili satu anotasi pada versi objek tertentu.

    Anda dapat menggunakan tabel anotasi untuk menemukan dan mengambil objek berdasarkan nilai anotasi. Misalnya, Anda dapat menanyakan tabel anotasi untuk menemukan semua objek dengan kunci anotasi tertentu, mengambil konten anotasi yang cocok dengan predikat berdasarkan ukuran objek atau awalan kunci, atau menghubungkan anotasi di seluruh objek.

    Untuk informasi selengkapnya tentang mengkonfigurasi tabel anotasi, lihatMengaktifkan atau menonaktifkan tabel anotasi. Untuk informasi selengkapnya tentang skema tabel anotasi, lihatSkema tabel anotasi Metadata S3.

Tabel metadata Anda disimpan dalam bucket tabel AWS S3 terkelola, yang menyediakan penyimpanan yang dioptimalkan untuk data tabular. Untuk menanyakan metadata Anda, Anda dapat mengintegrasikan bucket meja Anda dengan Amazon SageMaker Lakehouse. Integrasi ini, yang menggunakan AWS Glue Data Catalog dan AWS Lake Formation, memungkinkan layanan AWS analitik untuk secara otomatis menemukan dan mengakses data tabel Anda.

Setelah bucket tabel Anda terintegrasi dengan AWS Glue Data Catalog, Anda dapat langsung menanyakan tabel metadata Anda dengan layanan AWS analitik seperti Amazon Athena, Amazon EMR, dan Amazon Redshift. Anda juga dapat membuat dasbor interaktif dengan data kueri Anda dengan menggunakan Amazon Quick. Untuk informasi selengkapnya tentang mengintegrasikan bucket tabel S3 terkel AWS ola Anda dengan Amazon SageMaker Lakehouse, lihat. Mengintegrasikan Tabel Amazon S3 dengan AWS layanan analitik

Anda juga dapat menanyakan tabel metadata Anda dengan Apache SparkApache Trino,, dan aplikasi lain yang mendukung Apache Iceberg format dengan menggunakan titik akhir AWS Glue Iceberg REST, titik akhir Iceberg REST Tabel Amazon S3, atau Katalog Tabel Amazon S3 untuk katalog Apache Iceberg klien. Untuk informasi selengkapnya tentang mengakses tabel metadata Anda, lihatMengakses data tabel.

Untuk harga Metadata S3, lihat Harga Amazon S3.

Cara kerja tabel metadata

Tabel metadata dikelola oleh Amazon S3, dan tidak dapat dimodifikasi oleh prinsipal IAM mana pun di luar Amazon S3 itu sendiri. Namun, Anda dapat menghapus tabel metadata Anda. Akibatnya, tabel metadata bersifat read-only, yang membantu memastikan bahwa tabel tersebut mencerminkan isi bucket tujuan umum Anda dengan benar.

Untuk menghasilkan dan menyimpan metadata objek dalam AWS tabel metadata terkelola, Anda membuat konfigurasi tabel metadata untuk bucket tujuan umum Anda. Amazon S3 dirancang untuk terus memperbarui tabel metadata untuk mencerminkan perubahan terbaru pada data Anda selama konfigurasi aktif pada bucket tujuan umum.

Sebelum membuat konfigurasi tabel metadata, pastikan Anda memiliki izin AWS Identity and Access Management (IAM) yang diperlukan untuk membuat dan mengelola tabel metadata. Untuk informasi selengkapnya, lihat Menyiapkan izin untuk mengonfigurasi tabel metadata.

Penyimpanan tabel metadata, organisasi, dan enkripsi

Saat Anda membuat konfigurasi tabel metadata, tabel metadata Anda disimpan dalam bucket tabel AWS terkelola. Semua konfigurasi tabel metadata di akun Anda dan di Wilayah yang sama disimpan dalam satu bucket tabel AWS terkelola. Buc AWS ket tabel terkelola ini diberi nama aws-s3 dan memiliki format Amazon Resource Name (ARN) berikut:

arn:aws:s3tables:region:account_id:bucket/aws-s3

Misalnya, jika ID akun Anda 123456789012 dan bucket tujuan umum Anda berada di AS Timur (Virginia Utara) (us-east-1), bucket tabel terkel AWS ola Anda juga dibuat di AS Timur (Virginia Utara) (us-east-1) dan memiliki ARN berikut:

arn:aws:s3tables:us-east-1:123456789012:bucket/aws-s3

Secara default, bucket AWS tabel terkelola dienkripsi dengan enkripsi sisi server menggunakan kunci terkelola Amazon S3 ()SSE-S3. Setelah membuat konfigurasi metadata pertama, Anda dapat mengatur setelan enkripsi default untuk bucket tabel ter AWS kelola untuk menggunakan enkripsi sisi server dengan AWS Key Management Service (AWS KMS) keys (SSE-KMS). Untuk informasi selengkapnya, lihat Enkripsi untuk AWS bucket tabel terkelola danMenentukan enkripsi sisi server dengan AWS KMS kunci (SSE-KMS) dalam ember meja.

Dalam bucket AWS tabel terkelola Anda, tabel metadata untuk konfigurasi Anda biasanya disimpan dalam namespace dengan format penamaan berikut:

b_general-purpose-bucket-name

catatan

  • Jika nama bucket tujuan umum Anda berisi titik apa pun, titik dikonversi menjadi garis bawah (_) dalam nama namespace.

  • Jika bucket tujuan umum Anda dibuat sebelum 1 Maret 2018, namanya mungkin berisi huruf besar dan garis bawah, dan mungkin juga panjangnya hingga 255 karakter. Jika nama bucket Anda memiliki karakteristik ini, namespace tabel metadata Anda akan memiliki format yang berbeda. Nama bucket tujuan umum akan diawali denganb_, dipotong menjadi 63 karakter, dikonversi menjadi semua huruf kecil, dan diberi akhiran dengan hash.

Tabel metadata memiliki format Amazon Resource Name (ARN) berikut, yang mencakup ID tabel dari tabel metadata:

arn:aws:s3tables:region-code:account-id:bucket/aws-s3/table/table-id

Misalnya, tabel metadata di Wilayah AS Timur (Virginia Utara) akan memiliki ARN seperti berikut:

arn:aws:s3tables:us-east-1:111122223333:bucket/aws-s3/table/a12bc345-67d8-912e-3456-7f89123g4h56

Tabel jurnal memiliki namajournal, dan tabel inventaris langsung memiliki namainventory.

Saat membuat konfigurasi tabel metadata, Anda dapat memilih untuk mengenkripsi tabel metadata ter AWS kelola dengan enkripsi sisi server menggunakan AWS Key Management Service (AWS KMS) keys (SSE-KMS). Jika Anda memilih untuk menggunakan SSE-KMS, Anda harus memberikan kunci KMS yang dikelola pelanggan di Wilayah yang sama dengan bucket tujuan umum Anda. Anda dapat mengatur jenis enkripsi untuk tabel Anda hanya selama pembuatan tabel. Setelah tabel yang dikelola AWS dibuat, Anda tidak dapat mengubah pengaturan enkripsinya. SSE-KMS Untuk menentukan tabel metadata Anda, Anda harus memiliki izin tertentu. Untuk informasi selengkapnya, lihat Izin untuk SSE-KMS.

Pengaturan enkripsi untuk tabel metadata lebih diutamakan daripada pengaturan enkripsi tingkat bucket default. Jika Anda tidak menentukan enkripsi untuk tabel, itu akan mewarisi pengaturan enkripsi default dari bucket.

AWS bucket tabel terkelola tidak dihitung dalam kuota Tabel S3 Anda. Untuk informasi selengkapnya tentang bekerja dengan bucket AWS tabel terkelola dan tabel AWS terkelola, lihat Bek erja dengan AWS bucket tabel terkelola.

Untuk memantau pembaruan konfigurasi tabel metadata Anda, Anda dapat menggunakan AWS CloudTrail. Untuk informasi selengkapnya, lihat Tindakan tingkat bucket Amazon S3 yang dilacak dengan pencatatan CloudTrail.

Pemeliharaan tabel metadata dan kedaluwarsa catatan

Agar tabel metadata Anda tetap berkinerja terbaik, Amazon S3 melakukan aktivitas pemeliharaan berkala pada tabel Anda, seperti pemadatan dan penghapusan file tanpa referensi. Kegiatan pemeliharaan ini membantu meminimalkan biaya penyimpanan tabel metadata Anda dan mengoptimalkan kinerja kueri. Pemeliharaan tabel ini terjadi secara otomatis, tidak memerlukan opt-in atau manajemen berkelanjutan oleh Anda.

catatan

  • Anda tidak dapat mengontrol kedaluwarsa tabel jurnal atau snapshot tabel inventaris. Untuk setiap tabel, Amazon S3 menyimpan minimal 1 snapshot selama maksimal 24 jam.

  • Untuk membantu meminimalkan biaya, Anda dapat mengonfigurasi kedaluwarsa catatan tabel jurnal. Secara default, catatan tabel jurnal tidak kedaluwarsa, dan catatan tabel jurnal harus disimpan selama minimal 7 hari. Untuk informasi selengkapnya, lihat Catatan tabel jurnal yang kedaluwarsa.

Topik