Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Mengimpor perubahan dari repositori data Anda
Anda dapat mengimpor perubahan pada data dan metadata POSIX dari repositori data tertaut ke sistem file Amazon Anda. FSx Metadata POSIX terkait mencakup kepemilikan, izin, dan stempel waktu.
Untuk mengimpor perubahan ke sistem file, gunakan salah satu metode berikut:
+ Konfigurasikan sistem file Anda untuk secara otomatis mengimpor file baru, diubah, atau dihapus dari repositori data tertaut Anda. Untuk informasi selengkapnya, lihat [Secara otomatis mengimpor pembaruan dari bucket S3](autoimport-data-repo-dra.md).
+ Pilih opsi untuk mengimpor metadata saat Anda membuat asosiasi repositori data. Ini akan memulai tugas repositori data impor segera setelah membuat asosiasi repositori data.
+ Gunakan tugas repositori data impor sesuai permintaan. Untuk informasi selengkapnya, lihat [Menggunakan tugas repositori data untuk mengimpor perubahan](import-data-repo-task-dra.md).
Tugas repositori data impor dan impor otomatis dapat berjalan pada saat yang bersamaan.
Saat Anda mengaktifkan impor otomatis untuk asosiasi repositori data, sistem file Anda secara otomatis memperbarui metadata file saat objek dibuat, dimodifikasi, atau dihapus di S3. Ketika Anda memilih opsi untuk mengimpor metadata saat membuat asosiasi repositori data, sistem file Anda mengimpor metadata untuk semua objek dalam repositori data. Saat Anda mengimpor menggunakan tugas repositori data impor, sistem file Anda hanya mengimpor metadata untuk objek yang dibuat atau dimodifikasi sejak impor terakhir.
FSx untuk Lustre secara otomatis menyalin konten file dari repositori data Anda dan memuatnya ke dalam sistem fille saat aplikasi Anda pertama kali mengakses file dalam sistem file. Pergerakan data ini dikelola oleh FSx for Lustre dan transparan untuk aplikasi Anda. Pembacaan selanjutnya dari file-file ini disajikan langsung dari sistem file dengan latensi sub-milidetik.
Anda juga dapat memuat seluruh sistem file atau direktori di dalam sistem file Anda. Untuk informasi selengkapnya, lihat [Terlebih dulu memuat file ke dalam sistem file Anda](preload-file-contents-hsm-dra.md). Jika Anda meminta pramuat beberapa file secara bersamaan, FSx Lustre memuat file dari repositori data Amazon S3 Anda secara paralel.
FSx untuk Lustre hanya mengimpor objek S3 yang memiliki kunci objek yang sesuai dengan POSIX. Baik tugas repositori data impor dan impor otomatis mengimpor metadata POSIX. Untuk informasi selengkapnya, lihat [Dukungan metadata POSIX untuk repositori data](posix-metadata-support.md).
**catatan**
FSx untuk Lustre tidak mendukung pengimporan metadata untuk tautan simbolik (symlink) dari S3 Glacier Flexible Retrieval dan kelas penyimpanan S3 Glacier Deep Archive. Metadata untuk objek S3 Glacier Flexible Retrieval atau S3 Glacier Deep Archive yang bukan symlink dapat diimpor (yaitu, inode dibuat pada sistem file for Lustre dengan metadata yang benar). FSx Namun, untuk membaca data ini dari sistem file, Anda harus terlebih dahulu mengembalikan objek S3 Glacier Flexible Retrieval atau S3 Glacier Deep Archive. Mengimpor data file langsung dari objek Amazon S3 di kelas penyimpanan S3 Glacier Flexible Retrieval atau S3 Glacier Deep Archive ke for Lustre tidak didukung. FSx
# Secara otomatis mengimpor pembaruan dari bucket S3
Anda dapat mengonfigurasi FSx Lustre untuk memperbarui metadata secara otomatis di sistem file saat objek ditambahkan, diubah, atau dihapus dari bucket S3 Anda. FSx untuk Lustre membuat, memperbarui, atau menghapus daftar file dan direktori, sesuai dengan perubahan di S3. Jika objek yang diubah dalam bucket S3 tidak lagi berisi metadatanya, FSx Lustre mempertahankan nilai metadata file saat ini, termasuk izin saat ini.
**catatan**
Sistem file FSx for Lustre dan bucket S3 yang ditautkan harus berada di tempat yang sama Wilayah AWS untuk mengimpor pembaruan secara otomatis.
Anda dapat mengonfigurasi impor otomatis saat membuat asosiasi repositori data, dan Anda dapat memperbarui setelan impor otomatis kapan saja menggunakan konsol FSx manajemen, file AWS CLI, atau API. AWS
**catatan**
Anda dapat mengonfigurasi impor otomatis dan ekspor otomatis pada asosiasi repositori data yang sama. Topik ini hanya menjelaskan fitur impor otomatis.
**penting**
Jika objek dimodifikasi di S3 dengan semua kebijakan impor otomatis diaktifkan dan ekspor otomatis dinonaktifkan, konten objek itu selalu diimpor ke file yang sesuai dalam sistem file. Jika file sudah ada di lokasi target, file akan ditimpa.
Jika file dimodifikasi di sistem file dan S3, dengan semua impor otomatis dan kebijakan ekspor otomatis diaktifkan, baik file dalam sistem file atau objek di S3 dapat ditimpa oleh yang lain. Tidak dijamin bahwa pengeditan nanti di satu lokasi akan menimpa suntingan sebelumnya di lokasi lain. Jika Anda memodifikasi file yang sama di sistem file dan bucket S3, Anda harus memastikan koordinasi tingkat aplikasi untuk mencegah konflik tersebut. FSx untuk Lustre tidak mencegah penulisan yang bertentangan di beberapa lokasi.
Kebijakan impor menentukan bagaimana Anda ingin FSx agar Lustre memperbarui sistem file Anda saat konten berubah di bucket S3 yang ditautkan. Asosiasi repositori data dapat memiliki salah satu kebijakan impor berikut:
+ **Baru** - FSx untuk Lustre secara otomatis memperbarui metadata file dan direktori hanya ketika objek baru ditambahkan ke repositori data S3 yang ditautkan.
+ **Berubah** - FSx untuk Lustre secara otomatis memperbarui metadata file dan direktori hanya ketika objek yang ada di repositori data diubah.
+ **Dihapus** - FSx untuk Lustre secara otomatis memperbarui metadata file dan direktori hanya ketika objek dalam repositori data dihapus.
+ **Kombinasi apa pun dari New, Changed, dan Deleted** — FSx untuk Lustre secara otomatis memperbarui metadata file dan direktori ketika salah satu tindakan yang ditentukan terjadi di repositori data S3. Misalnya, Anda dapat menentukan bahwa sistem file diperbarui ketika objek ditambahkan ke (**Baru**) atau dihapus dari (**Dihapus**) repositori S3, tetapi tidak diperbarui ketika objek diubah.
+ **Tidak ada kebijakan yang dikonfigurasi** — FSx untuk Lustre tidak memperbarui metadata file dan direktori pada sistem file saat objek ditambahkan, diubah, atau dihapus dari repositori data S3. Jika Anda tidak mengonfigurasi kebijakan impor, impor otomatis dinonaktifkan untuk asosiasi repositori data. Anda masih dapat mengimpor perubahan metadata secara manual dengan menggunakan tugas repositori data impor, seperti yang dijelaskan dalam. [Menggunakan tugas repositori data untuk mengimpor perubahan](import-data-repo-task-dra.md)
**penting**
Impor otomatis tidak akan menyinkronkan tindakan S3 berikut dengan sistem file Lustre yang FSx ditautkan:
Menghapus objek menggunakan kedaluwarsa siklus hidup objek S3
Menghapus versi objek saat ini secara permanen dalam bucket berkemampuan versi
Membatalkan penghapusan objek dalam bucket berkemampuan versi
Untuk sebagian besar kasus penggunaan, sebaiknya Anda mengonfigurasi kebijakan impor **Baru**, **Diubah**, dan **Dihapus**. Kebijakan ini memastikan bahwa semua pembaruan yang dibuat di repositori data S3 tertaut Anda secara otomatis diimpor ke sistem file Anda.
Saat Anda menetapkan kebijakan impor untuk memperbarui file sistem file dan metadata direktori berdasarkan perubahan dalam repositori data S3 tertaut, FSx Lustre akan membuat konfigurasi notifikasi peristiwa pada bucket S3 yang ditautkan. Konfigurasi pemberitahuan acara diberi nama`FSx`. Jangan mengubah atau menghapus konfigurasi pemberitahuan `FSx` acara pada bucket S3 — hal itu akan mencegah impor otomatis file dan metadata direktori yang diperbarui ke sistem file Anda.
Ketika FSx untuk Lustre memperbarui daftar file yang telah berubah pada repositori data S3 tertaut, itu menimpa file lokal dengan versi yang diperbarui, bahkan jika file tersebut dikunci tulis.
FSx untuk Lustre melakukan upaya terbaik untuk memperbarui sistem file Anda. FSx untuk Lustre tidak dapat memperbarui sistem file dalam situasi berikut:
+ Jika FSx untuk Lustre tidak memiliki izin untuk membuka objek S3 yang diubah atau baru. Dalam hal ini, FSx untuk Lustre melewatkan objek dan melanjutkan. Status siklus hidup DRA tidak terpengaruh.
+ Jika FSx untuk Lustre tidak memiliki izin tingkat ember, seperti for. `GetBucketAcl` **Ini akan menyebabkan status siklus hidup repositori data menjadi Salah konfigurasi.** Untuk informasi selengkapnya, lihat [Status siklus hidup asosiasi repositori data](dra-lifecycles.md).
+ Jika konfigurasi pemberitahuan acara `FSx` pada bucket S3 terkait dihapus atau diubah. **Ini akan menyebabkan status siklus hidup repositori data menjadi Salah konfigurasi.** Untuk informasi selengkapnya, lihat [Status siklus hidup asosiasi repositori data](dra-lifecycles.md).
Kami menyarankan Anda [mengaktifkan CloudWatch log](cw-event-logging.md#manage-logging) ke Log untuk mencatat informasi tentang file atau direktori apa pun yang tidak dapat diimpor secara otomatis. Peringatan dan kesalahan dalam log berisi informasi tentang alasan kegagalan. Untuk informasi selengkapnya, lihat [Log peristiwa repositori data](data-repo-event-logs.md).
## Prasyarat
Ketentuan berikut diperlukan agar FSx Lustre dapat secara otomatis mengimpor file baru, diubah, atau dihapus dari bucket S3 yang ditautkan:
+ Sistem file dan bucket S3 yang ditautkan terletak di tempat yang sama Wilayah AWS.
+ **Bucket S3 tidak memiliki status Siklus Hidup yang salah dikonfigurasi.** Untuk informasi selengkapnya, lihat [Status siklus hidup asosiasi repositori data](dra-lifecycles.md).
+ Akun Anda memiliki izin yang diperlukan untuk mengkonfigurasi dan menerima pemberitahuan acara pada bucket S3 yang tertaut.
## Jenis perubahan file yang didukung
FSx untuk Lustre mendukung pengimporan perubahan berikut ke file dan direktori yang terjadi di bucket S3 yang ditautkan:
+ Perubahan pada isi file.
+ Perubahan pada metadata file atau direktori.
+ Perubahan pada target symlink atau metadata.
+ Penghapusan file dan direktori. Jika Anda menghapus objek di bucket S3 tertaut yang sesuai dengan direktori dalam sistem file (yaitu, objek dengan nama kunci yang diakhiri dengan garis miring), FSx untuk Lustre menghapus direktori yang sesuai pada sistem file hanya jika kosong.
## Memperbarui pengaturan impor
Anda dapat menyetel setelan impor sistem file untuk bucket S3 tertaut saat membuat asosiasi repositori data. Untuk informasi selengkapnya, lihat [Membuat tautan ke bucket S3](create-linked-dra.md).
Anda juga dapat memperbarui pengaturan impor kapan saja, termasuk kebijakan impor. Untuk informasi selengkapnya, lihat [Memperbarui pengaturan asosiasi repositori data](update-dra-settings.md).
## Memantau impor otomatis
Jika laju perubahan dalam bucket S3 Anda melebihi kecepatan impor otomatis dapat memproses perubahan ini, perubahan metadata terkait yang diimpor ke sistem file Lustre Anda FSx akan tertunda. Jika ini terjadi, Anda dapat menggunakan `AgeOfOldestQueuedMessage` metrik untuk memantau usia perubahan tertua yang menunggu untuk diproses oleh impor otomatis. Untuk informasi lebih lanjut tentang metrik ini, lihat[FSx untuk metrik repositori Lustre S3](fs-metrics.md#auto-import-export-metrics).
Jika penundaan dalam mengimpor metadata berubah melebihi 14 hari (yang diukur menggunakan `AgeOfOldestQueuedMessage` metrik), perubahan dalam bucket S3 Anda yang belum diproses oleh impor otomatis tidak akan diimpor ke sistem file Anda. Selain itu, siklus hidup asosiasi repositori data Anda ditandai sebagai **SALAH KONFIGURASI** dan impor otomatis dihentikan. Jika Anda mengaktifkan ekspor otomatis, ekspor otomatis terus memantau sistem file Lustre Anda FSx untuk perubahan. Namun, perubahan tambahan tidak disinkronkan dari sistem file Lustre Anda FSx ke S3.
Untuk mengembalikan asosiasi repositori data Anda dari status siklus hidup **SALAH KONFIGURASI** ke status siklus hidup **TERSEDIA**, Anda harus memperbarui asosiasi repositori data Anda. Anda dapat memperbarui asosiasi repositori data Anda menggunakan perintah [update-data-repository-association](https://docs.aws.amazon.com/cli/latest/reference/fsx/update-data-repository-association.html)CLI (atau operasi API yang sesuai [UpdateDataRepositoryAssociation](https://docs.aws.amazon.com/fsx/latest/APIReference/API_UpdateDataRepositoryAssociation.html)). Satu-satunya parameter permintaan yang Anda butuhkan adalah asosiasi repositori data yang ingin Anda perbarui. `AssociationID`
Setelah status siklus hidup asosiasi repositori data berubah menjadi **TERSEDIA**, impor otomatis (dan ekspor otomatis jika diaktifkan) dimulai ulang. Setelah memulai ulang, ekspor otomatis melanjutkan sinkronisasi perubahan sistem file ke S3. [Untuk menyinkronkan metadata objek baru dan yang diubah di S3 dengan sistem file FSx for Lustre Anda yang tidak diimpor atau berasal dari saat asosiasi repositori data berada dalam status salah konfigurasi, jalankan tugas repositori data impor.](import-data-repo-task-dra.md) Impor tugas repositori data tidak menyinkronkan penghapusan di bucket S3 Anda dengan sistem file for Lustre Anda FSx . Jika Anda ingin sepenuhnya menyinkronkan S3 dengan sistem file Anda (termasuk penghapusan), Anda harus membuat ulang sistem file Anda.
Untuk memastikan bahwa penundaan mengimpor perubahan metadata tidak melebihi 14 hari, sebaiknya Anda menyetel alarm pada `AgeOfOldestQueuedMessage` metrik dan mengurangi aktivitas di bucket S3 jika `AgeOfOldestQueuedMessage` metrik tumbuh melampaui ambang batas alarm Anda. Untuk sistem file FSx for Lustre yang terhubung ke bucket S3 dengan pecahan tunggal terus mengirimkan jumlah maksimum perubahan yang mungkin dari S3, dengan hanya impor otomatis yang berjalan pada sistem file FSx for Lustre, impor otomatis dapat memproses backlog 7 jam perubahan S3 dalam 14 hari.
Selain itu, dengan satu tindakan S3, Anda dapat menghasilkan lebih banyak perubahan daripada impor otomatis yang akan diproses dalam 14 hari. Contoh dari jenis tindakan ini termasuk, namun tidak terbatas pada, AWS Snowball upload ke S3 dan penghapusan skala besar. Jika Anda membuat perubahan skala besar pada bucket S3 yang ingin disinkronkan dengan sistem file Lustre FSx untuk Anda, untuk mencegah perubahan impor otomatis melebihi 14 hari, Anda harus menghapus sistem file Anda dan membuatnya kembali setelah perubahan S3 selesai.
Jika `AgeOfOldestQueuedMessage` metrik Anda bertambah, tinjau bucket`GetRequests`,, `PutRequests``PostRequests`, dan `DeleteRequests` metrik S3 Anda untuk perubahan aktivitas yang akan menyebabkan peningkatan and/or jumlah laju perubahan yang dikirim ke impor otomatis. Untuk informasi tentang metrik S3 yang tersedia, lihat [Memantau Amazon S3](https://docs.aws.amazon.com/AmazonS3/latest/userguide/monitoring-overview.html) di Panduan Pengguna Amazon *S3*.
Untuk daftar semua yang tersedia FSx untuk metrik Lustre, lihat. [Pemantauan CloudWatch dengan Amazon](monitoring-cloudwatch.md)
# Menggunakan tugas repositori data untuk mengimpor perubahan
Tugas repositori data impor mengimpor metadata objek yang baru atau diubah dalam repositori data S3 Anda, membuat daftar file atau direktori baru untuk objek baru apa pun di repositori data S3. Untuk objek apa pun yang telah diubah dalam repositori data, daftar file atau direktori yang sesuai diperbarui dengan metadata baru. Tidak ada tindakan yang diambil untuk objek yang telah dihapus dari repositori data.
Gunakan prosedur berikut untuk mengimpor perubahan metadata menggunakan FSx konsol Amazon dan CLI. Perhatikan bahwa Anda dapat menggunakan satu tugas repositori data untuk beberapa. DRAs
## Untuk mengimpor perubahan metadata (konsol)
1. Buka FSx konsol Amazon di [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/).
1. Pada panel navigasi, pilih **Sistem file**, lalu pilih sistem Lustre file Anda.
1. Pilih tab **Repositori data**.
1. Di panel **Asosiasi repositori data, pilih asosiasi** repositori data yang ingin Anda buat tugas impor.
1. Dari menu **Tindakan**, pilih **Impor tugas**. Pilihan ini tidak tersedia jika sistem file tidak ditautkan ke repositori data. Halaman **tugas Create import data repository muncul**.
1. (Opsional) Tentukan hingga 32 direktori atau file yang akan diimpor dari bucket S3 tertaut Anda dengan menyediakan jalur ke direktori atau file tersebut di jalur **repositori Data** untuk diimpor.
**catatan**
Jika jalan yang Anda berikan tidak valid, tugas gagal.
1. (Opsional) Pilih **Aktifkan** di **Laporan penyelesaian** untuk membuat laporan penyelesaian tugas setelah tugas selesai. *Laporan penyelesaian tugas* menyediakan detail tentang file yang diproses oleh tugas yang memenuhi lingkup yang disediakan di **Lingkup laporan**. **Untuk menentukan lokasi Amazon FSx untuk mengirimkan laporan, masukkan jalur relatif pada repositori data S3 tertaut untuk jalur Laporan.**
1. Pilih **Buat**.
Pemberitahuan di bagian atas halaman **Sistem file** menampilkan tugas yang baru saja Anda buat dalam proses.
Untuk melihat status tugas dan detail, gulir ke bawah ke panel **Tugas Repositori Data** di tab **Repositori Data** untuk sistem file. Urutan default menampilkan tugas terbaru di bagian atas daftar.
Untuk melihat ringkasan tugas dari halaman ini, pilih **ID tugas** untuk tugas yang baru saja Anda buat. Halaman **Ringkasan** untuk tugas muncul.
## Untuk mengimpor perubahan metadata (CLI)
+ Gunakan perintah [https://docs.aws.amazon.com/cli/latest/reference/fsx/create-data-repository-task.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/create-data-repository-task.html)CLI untuk mengimpor perubahan metadata pada sistem file FSx for Lustre Anda. Operasi API yang sesuai adalah [https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateDataRepositoryTask.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateDataRepositoryTask.html).
```
$ aws fsx create-data-repository-task \
--file-system-id fs-0123456789abcdef0 \
--type IMPORT_METADATA_FROM_REPOSITORY \
--paths s3://bucketname1/dir1/path1 \
--report Enabled=true,Path=s3://bucketname1/dir1/path1,Format=REPORT_CSV_20191124,Scope=FAILED_FILES_ONLY
```
Setelah berhasil membuat tugas repositori data, Amazon FSx mengembalikan deskripsi tugas sebagai JSON.
Setelah membuat tugas untuk mengimpor metadata dari repositori data tertaut, Anda dapat memeriksa status tugas repositori data impor. Untuk informasi selengkapnya tentang melihat tugas repositori data, lihat [Mengakses tugas repositori data](view-data-repo-tasks.md).
# Terlebih dulu memuat file ke dalam sistem file Anda
Anda dapat secara opsional memuat konten file individual atau direktori ke dalam sistem file Anda.
## Mengimpor file menggunakan perintah HSM
Amazon FSx menyalin data dari repositori data Amazon S3 Anda saat file pertama kali diakses. Karena pendekatan ini, pembacaan atau penulisan awal ke file menimbulkan sejumlah kecil latensi. Jika aplikasi Anda sensitif terhadap latensi ini, dan Anda tahu file atau direktori mana yang aplikasinya perlu akses, Anda dapat memilih terlebih dulu memuat isi file individu atau direktori. Anda melakukannya dengan menggunakan perintah `hsm_restore`, sebagai berikut.
Anda dapat menggunakan perintah `hsm_action` (yang dikeluarkan dengan utilitas pengguna `lfs`) untuk memverifikasi bahwa isi file telah selesai dimuat ke dalam sistem file. Sebuah nilai kembali `NOOP` menunjukkan bahwa file telah berhasil dimuat. Jalankan perintah berikut dari instans komputasi dengan sistem file yang terpasang. Ganti *path/to/file* dengan jalur file yang Anda preloading ke sistem file Anda.
```
sudo lfs hsm_restore path/to/file
sudo lfs hsm_action path/to/file
```
Anda dapat terlebih dulu memuat seluruh sistem file Anda atau seluruh direktori dalam sistem file Anda dengan menggunakan perintah berikut. (tanda ampersand yang mengikuti membuat perintah dijalankan sebagai proses latar belakang.) Jika Anda meminta pramuat beberapa file secara bersamaan, Amazon FSx memuat file Anda dari repositori data Amazon S3 Anda secara paralel. Jika file telah dimuat ke sistem file, `hsm_restore` perintah tidak memuat ulang.
```
nohup find local/directory -type f -print0 | xargs -0 -n 1 -P 8 sudo lfs hsm_restore &
```
**catatan**
Jika bucket S3 tertaut Anda lebih besar dari sistem file Anda, Anda harus dapat mengimpor semua metadata file ke dalam sistem file Anda. Namun, Anda hanya dapat memuat sebanyak data file aktual yang akan muat ke dalam ruang penyimpanan sistem file yang tersisa. Anda akan menerima pesan kesalahan jika mencoba mengakses data file saat tidak ada lagi penyimpanan yang tersisa di sistem file. Jika ini terjadi, Anda dapat meningkatkan jumlah kapasitas penyimpanan sesuai kebutuhan. Untuk informasi selengkapnya, lihat [Mengelola kapasitas penyimpanan](managing-storage-capacity.md).
## Langkah validasi
Anda dapat menjalankan skrip bash yang tercantum di bawah ini untuk membantu Anda menemukan berapa banyak file atau objek dalam keadaan diarsipkan (dirilis).
Untuk meningkatkan kinerja skrip, terutama di seluruh sistem file dengan sejumlah besar file, thread CPU secara otomatis ditentukan berdasarkan `/proc/cpuproc` file. Artinya, Anda akan melihat kinerja yang lebih cepat dengan jumlah vCPU yang lebih tinggi instans Amazon EC2.
1. Siapkan skrip bash.
```
#!/bin/bash
# Check if a directory argument is provided
if [ $# -ne 1 ]; then
echo "Usage: $0 /path/to/lustre/mount"
exit 1
fi
# Set the root directory from the argument
ROOT_DIR="$1"
# Check if the provided directory exists
if [ ! -d "$ROOT_DIR" ]; then
echo "Error: Directory $ROOT_DIR does not exist."
exit 1
fi
# Automatically detect number of CPUs and set threads
if command -v nproc &> /dev/null; then
THREADS=$(nproc)
elif [ -f /proc/cpuinfo ]; then
THREADS=$(grep -c ^processor /proc/cpuinfo)
else
echo "Unable to determine number of CPUs. Defaulting to 1 thread."
THREADS=1
fi
# Output file
OUTPUT_FILE="released_objects_$(date +%Y%m%d_%H%M%S).txt"
echo "Searching in $ROOT_DIR for all released objects using $THREADS threads"
echo "This may take a while depending on the size of the filesystem..."
# Find all released files in the specified lustre directory using parallel
# If you get false positives for file names/paths that include the word 'released',
# you can grep 'released exists archived' instead of just 'released'
time sudo lfs find "$ROOT_DIR" -type f | \
parallel --will-cite -j "$THREADS" -n 1000 "sudo lfs hsm_state {} | grep released" > "$OUTPUT_FILE"
echo "Search complete. Released objects are listed in $OUTPUT_FILE"
echo "Total number of released objects: $(wc -l <"$OUTPUT_FILE")"
```
1. Jadikan skrip dapat dieksekusi:
```
$ chmod +x find_lustre_released_files.sh
```
1. Jalankan skrip, seperti pada contoh berikut:
```
$ ./find_lustre_released_files.sh /fsxl/sample
Searching in /fsxl/sample for all released objects using 16 threads
This may take a while depending on the size of the filesystem...
real 0m9.906s
user 0m1.502s
sys 0m5.653s
Search complete. Released objects are listed in released_objects_20241121_184537.txt
Total number of released objects: 30000
```
Jika ada objek yang dirilis, maka lakukan pemulihan massal pada direktori yang diinginkan untuk membawa file ke FSx Lustre dari S3, seperti pada contoh berikut:
```
$ DIR=/path/to/lustre/mount
$ nohup find $DIR -type f -print0 | xargs -0 -n 1 -P 8 sudo lfs hsm_restore &
```
Perhatikan bahwa `hsm_restore` akan memakan waktu beberapa saat di mana ada jutaan file.