View a markdown version of this page

Ekspor pembaruan ke bucket S3 Anda secara otomatis - FSx for Lustre

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Ekspor pembaruan ke bucket S3 Anda secara otomatis

Anda dapat mengonfigurasi sistem file FSx for Lustre untuk memperbarui konten bucket S3 yang ditautkan secara otomatis saat file ditambahkan, diubah, atau dihapus pada sistem file. FSx for Lustre membuat, memperbarui, atau menghapus objek di S3, sesuai dengan perubahan dalam sistem file.

catatan

Ekspor otomatis tidak tersedia di FSx for Lustre 2.10 sistem file atau sistem file. Scratch 1

Anda dapat mengekspor ke repositori data yang Wilayah AWS sama dengan sistem file atau yang berbeda. Wilayah AWS

Anda dapat mengonfigurasi ekspor otomatis saat membuat asosiasi repositori data dan memperbarui pengaturan ekspor otomatis kapan saja menggunakan konsol manajemen FSx, API, dan API AWS CLI. AWS

penting
  • Jika file dimodifikasi dalam sistem file dengan semua kebijakan ekspor otomatis diaktifkan dan impor otomatis dinonaktifkan, konten file itu selalu diekspor ke objek yang sesuai di S3. Jika objek sudah ada di lokasi target, objek akan ditimpa.

  • Jika file dimodifikasi di sistem file dan S3, dengan semua impor otomatis dan kebijakan ekspor otomatis diaktifkan, baik file dalam sistem file atau objek di S3 dapat ditimpa oleh yang lain. Tidak dijamin bahwa pengeditan nanti di satu lokasi akan menimpa suntingan sebelumnya di lokasi lain. Jika Anda memodifikasi file yang sama di sistem file dan bucket S3, Anda harus memastikan koordinasi tingkat aplikasi untuk mencegah konflik tersebut. FSx for Lustre tidak mencegah penulisan yang bertentangan di beberapa lokasi.

Kebijakan ekspor menentukan bagaimana Anda ingin FSx for Lustre memperbarui bucket S3 tertaut Anda saat konten berubah dalam sistem file. Asosiasi repositori data dapat memiliki salah satu kebijakan ekspor otomatis berikut:

  • Baru - FSx for Lustre secara otomatis memperbarui repositori data S3 hanya ketika file, direktori, atau symlink baru dibuat pada sistem file.

  • Berubah - FSx for Lustre secara otomatis memperbarui repositori data S3 hanya ketika file yang ada dalam sistem file diubah. Untuk perubahan konten file, file harus ditutup sebelum disebarkan ke repositori S3. Perubahan metadata (ganti nama, kepemilikan, izin, dan stempel waktu) disebarkan saat operasi selesai. Untuk semua perubahan (termasuk perubahan konten dan metadata), objek S3 terkait yang ada dihapus dan objek S3 baru dibuat dengan metadata konten baru. and/or

  • Dihapus - FSx for Lustre secara otomatis memperbarui repositori data S3 hanya ketika file, direktori, atau symlink dihapus dalam sistem file.

  • Kombinasi apa pun dari New, Changed, dan Deleted - FSx for Lustre secara otomatis memperbarui repositori data S3 ketika salah satu tindakan yang ditentukan terjadi dalam sistem file. Misalnya, Anda dapat menentukan bahwa repositori S3 diperbarui ketika file ditambahkan ke (Baru) atau dihapus dari (Dihapus) sistem file, tetapi tidak ketika file diubah.

  • Tidak ada kebijakan yang dikonfigurasi - FSx for Lustre tidak secara otomatis memperbarui repositori data S3 ketika file ditambahkan ke, diubah, atau dihapus dari sistem file. Jika Anda tidak mengonfigurasi kebijakan ekspor, ekspor otomatis akan dinonaktifkan. Anda masih dapat mengekspor perubahan secara manual dengan menggunakan tugas repositori data ekspor, seperti yang dijelaskan dalam. Menggunakan tugas repositori data untuk mengekspor perubahan

Untuk sebagian besar kasus penggunaan, sebaiknya Anda mengonfigurasi kebijakan ekspor New, Changed, dan Deleted. Kebijakan ini memastikan bahwa semua pembaruan yang dilakukan pada sistem file Anda secara otomatis diekspor ke repositori data S3 tertaut Anda.

catatan

Semua objek S3 yang dibuat oleh ekspor otomatis ditulis menggunakan kelas penyimpanan Standar S3.

Kami menyarankan Anda mengaktifkan CloudWatch log ke Log untuk mencatat informasi tentang file atau direktori apa pun yang tidak dapat diekspor secara otomatis. Peringatan dan kesalahan dalam log berisi informasi tentang alasan kegagalan. Untuk informasi selengkapnya, lihat Log peristiwa repositori data.

catatan

Sementara waktu akses (atime) dan waktu modifikasi (mtime) disinkronkan dengan S3 selama operasi ekspor, perubahan pada stempel waktu ini saja tidak memicu ekspor otomatis. Hanya perubahan pada konten file atau metadata lainnya (seperti kepemilikan atau izin) yang akan memicu ekspor otomatis ke S3.

Memperbarui pengaturan ekspor

Anda dapat menyetel setelan ekspor sistem file ke bucket S3 tertaut saat membuat asosiasi repositori data. Untuk informasi selengkapnya, lihat Membuat tautan ke bucket S3.

Anda juga dapat memperbarui pengaturan ekspor kapan saja, termasuk kebijakan ekspor. Untuk informasi selengkapnya, lihat Memperbarui pengaturan asosiasi repositori data.

Memantau ekspor otomatis

Anda dapat memantau asosiasi repositori data yang diaktifkan ekspor otomatis menggunakan satu set metrik yang dipublikasikan ke Amazon. CloudWatch AgeOfOldestQueuedMessageMetrik mewakili usia pembaruan tertua yang dibuat untuk sistem file yang belum diekspor ke S3. Jika AgeOfOldestQueuedMessage lebih besar dari nol untuk jangka waktu yang lama, kami sarankan untuk sementara mengurangi jumlah perubahan (penggantian nama direktori khususnya) yang secara aktif sedang dibuat ke sistem file sampai antrian pesan telah berkurang. Untuk informasi selengkapnya, lihat FSx untuk metrik repositori Lustre S3.

penting

Saat menghapus asosiasi repositori data atau sistem file dengan ekspor otomatis diaktifkan, Anda harus terlebih dahulu memastikan bahwa AgeOfOldestQueuedMessage itu nol, artinya tidak ada perubahan yang belum diekspor. Jika AgeOfOldestQueuedMessage lebih besar dari nol saat Anda menghapus asosiasi repositori data atau sistem file, perubahan yang belum diekspor tidak akan mencapai bucket S3 tertaut Anda. Untuk menghindari hal ini, tunggu AgeOfOldestQueuedMessage hingga mencapai nol sebelum menghapus asosiasi repositori data atau sistem file Anda.