Memulai dengan Amazon FSx untuk Lustre - FSx untuk Lustre

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memulai dengan Amazon FSx untuk Lustre

Berikut ini, Anda dapat mempelajari cara mulai menggunakan Amazon FSx untuk Lustre. Langkah-langkah ini memandu Anda dalam membuat sistem file Amazon FSx for Lustre dan mengaksesnya dari instance komputasi Anda. Secara opsional, mereka menunjukkan cara menggunakan sistem file Amazon FSx untuk Lustre Anda untuk memproses data di bucket Amazon S3 Anda dengan aplikasi berbasis file Anda.

Latihan memulai ini mencakup langkah-langkah berikut.

Prasyarat

Untuk melaksanakan latihan memulai ini, Anda memerlukan hal-hal berikut ini:

  • AWS Akun dengan izin yang diperlukan untuk membuat sistem file Amazon FSx untuk Lustre dan instance Amazon. EC2 Untuk informasi selengkapnya, lihat Menyiapkan Amazon FSx for Lustre.

  • Buat grup keamanan Amazon VPC untuk dikaitkan dengan sistem file FSx for Lustre Anda, dan jangan mengubahnya setelah pembuatan sistem file. Untuk informasi selengkapnya, lihat Untuk membuat grup keamanan untuk sistem FSx file Amazon Anda.

  • EC2 Instans Amazon yang menjalankan rilis Linux yang didukung di cloud pribadi virtual (VPC) Anda berdasarkan layanan VPC Amazon. Untuk memulai latihan ini, kami sarankan menggunakan Amazon Linux 2023. Anda akan menginstal Lustre klien pada EC2 instance ini, dan kemudian me-mount sistem file Lustre Anda FSx pada EC2 instance. Untuk informasi selengkapnya tentang membuat EC2 instance, lihat Memulai: Meluncurkan instance atau Meluncurkan instance Anda di Panduan EC2 Pengguna Amazon.

    Selain Amazon Linux 2023, Lustre klien mendukung Amazon Linux 2, Red Hat Enterprise Linux (RHEL), CentOS, Rocky Linux, SUSE Linux Enterprise Server, dan sistem operasi Ubuntu. Untuk informasi selengkapnya, lihat Lustresistem file dan kompatibilitas kernel klien.

  • Saat membuat EC2 instance Amazon Anda untuk latihan memulai ini, ingatlah hal berikut:

    • Kami merekomendasikan Anda membuat instans Anda di VPC default Anda.

    • Kami menyarankan Anda menggunakan grup keamanan default saat membuat EC2 instance Anda.

  • Tentukan jenis sistem file Amazon FSx untuk Lustre yang ingin Anda buat, gores, atau persisten. Untuk informasi selengkapnya, lihat Opsi kelas penyebaran dan penyimpanan FSx untuk sistem file Lustre.

  • Masing-masing FSx untuk sistem file Lustre memerlukan satu alamat IP untuk setiap server metadata (MDS) dan satu alamat IP untuk setiap server penyimpanan (OSS). Untuk informasi selengkapnya, lihat Alamat IP untuk sistem file.

  • Bucket Amazon S3 untuk menyimpan data agar beban kerja Anda diproses. Bucket S3 akan menjadi repositori data tahan lama yang ditautkan untuk sistem file FSx Lustre Anda.

Langkah 1: FSx Buat sistem file Lustre Anda

Anda membuat sistem file Anda di FSx konsol Amazon. Perhatikan bahwa semua FSx untuk sistem file Lustre dibangun pada Lustre versi 2.15 saat dibuat menggunakan konsol Amazon. FSx

Untuk membuat sistem file Anda
  1. Buka FSx konsol Amazon di https://console.aws.amazon.com/fsx/.

  2. Dari dasbor, pilih Buat sistem file untuk memulai wizard pembuatan sistem file.

  3. Pilih FSx for Lustredan kemudian pilih Berikutnya untuk menampilkan halaman Create File System.

    Mulailah konfigurasi Anda dengan bagian Detail sistem File.

  4. Untuk nama sistem file-opsional, berikan nama untuk sistem file Anda. Anda dapat menggunakan hingga 256 huruf, spasi, dan angka Unicode, ditambah karakter khusus + - = . _ : /.

  5. Untuk kelas Deployment dan storage, pilih salah satu opsi:

    • Pilih SSD Persisten untuk penyimpanan jangka panjang dan untuk beban kerja yang sensitif terhadap latensi. Dengan penyimpanan SSD, Anda ditagih untuk jumlah penyimpanan yang Anda berikan.

      Secara opsional, pilih dengan EFA diaktifkan untuk mengaktifkan dukungan Elastic Fabric Adapter (EFA) untuk sistem file. Untuk informasi lebih lanjut tentang EFA, lihatBekerja dengan sistem file yang mendukung EFA.

    • Pilih Persistent, Intelligent-Tiering untuk penyimpanan jangka panjang. Kelas penyimpanan Intelligent-Tiering menyediakan penyimpanan yang sepenuhnya elastis dan hemat biaya yang cocok untuk sebagian besar beban kerja, serta cache baca SSD opsional yang menyediakan latensi SSD untuk pembacaan data yang sering diakses. Dengan Intelligent-Tiering, Anda ditagih untuk data yang Anda simpan, tergantung pada ukuran kumpulan data Anda, dan tidak perlu menentukan ukuran sistem file.

      Secara opsional, pilih dengan EFA diaktifkan untuk mengaktifkan dukungan Elastic Fabric Adapter (EFA) untuk sistem file.

    • Pilih Scratch, penyebaran SSD untuk penyimpanan sementara dan pemrosesan data jangka pendek. Dengan penyimpanan SSD, Anda ditagih untuk jumlah penyimpanan yang Anda berikan.

  6. Pilih jumlah throughput untuk sistem file Anda. Anda membayar untuk jumlah throughput yang Anda sediakan.

    • Untuk penyimpanan SSD Persistent, pilih Throughput per unit nilai penyimpanan. Throughput per unit penyimpanan adalah jumlah throughput baca dan tulis untuk setiap 1 tebibyte (TiB) penyimpanan yang disediakan.

    • Untuk penyimpanan SSD Scratch, pilih Throughput per unit nilai penyimpanan.

    • Untuk penyimpanan Intelligent-Tiering, pilih nilai kapasitas Throughput.

  7. Untuk kapasitas Penyimpanan (hanya kelas penyimpanan SSD), atur jumlah kapasitas penyimpanan untuk sistem file Anda, dalam TB:

    • Untuk jenis penyebaran SSD yang Persisten, atur ini ke nilai 1,2 TiB, 2,4 TiB, atau kenaikan 2,4 TiB.

    • Untuk jenis penyebaran SSD yang mendukung EFA, Persisten, tetapkan nilai ini dengan penambahan 4,8 TiB, 9,6 TiB, 19,2 TiB, dan 38,4 TiB masing-masing untuk tingkat throughput 1000, 500, 250, dan 125/TiB. MBps

    Anda dapat meningkatkan jumlah kapasitas penyimpanan sebagaimana diperlukan setelah Anda membuat sistem file. Untuk informasi selengkapnya, lihat Mengelola kapasitas penyimpanan.

  8. Untuk konfigurasi metadata, pilih salah satu opsi berikut untuk menyediakan jumlah IOPS Metadata untuk sistem file Anda:

    • Pilih Otomatis (hanya kelas penyimpanan SSD) jika Anda ingin Amazon FSx for Lustre secara otomatis menyediakan dan menskalakan metadata IOPS pada sistem file Anda berdasarkan kapasitas penyimpanan sistem file Anda.

    • Pilih User-provisioned jika Anda ingin menentukan jumlah Metadata IOPS yang akan disediakan untuk sistem file Anda dengan SSD atau kelas penyimpanan Intelligent-Tiering. Nilai yang valid adalah sebagai berikut:

      • Untuk sistem file SSD, nilai yang valid adalah 1500 30006000,12000,,,, dan kelipatan 12000 hingga maksimum. 192000

      • Untuk sistem file Intelligent-Tiering, nilai yang valid adalah dan. 6000 12000

    Untuk informasi selengkapnya tentang Metadata IOPS, lihat. Lustrekonfigurasi kinerja metadata

  9. Untuk cache baca SSD (Intelligent-Tiering saja), pilih Otomatis (sebanding dengan kapasitas throughput) atau Custom (disediakan pengguna). Dengan opsi Otomatis, Amazon FSx for Lustre secara otomatis memilih ukuran cache baca berdasarkan throughput yang Anda berikan. Jika Anda mengetahui perkiraan ukuran kumpulan data kerja aktif Anda, Anda dapat memilih Kustom untuk menyesuaikan ukuran cache baca SSD. Untuk informasi selengkapnya, lihat Mengelola cache baca SSD yang disediakan.

  10. Untuk tipe kompresi data, pilih NONE untuk mematikan kompresi data atau memilih LZ4untuk mengaktifkan kompresi data dengan LZ4 algoritma. Untuk informasi selengkapnya, lihat Lustrekompresi data.

  11. Di bagian Jaringan & keamanan, berikan informasi jaringan dan grup keamanan berikut:

    • Untuk Virtual Private Cloud (VPC), pilih VPC yang ingin Anda kaitkan dengan sistem file Anda. Untuk memulai latihan ini, pilih VPC yang sama yang Anda pilih untuk instans Amazon EC2 Anda.

    • Untuk Grup keamanan VPC, ID untuk grup keamanan default untuk VPC Anda harus sudah ditambahkan.

      Jika Anda tidak menggunakan grup keamanan default, pastikan bahwa aturan jalur masuk berikut ditambahkan ke grup keamanan yang Anda gunakan untuk mulai latihan ini.

      Jenis Protokol Rentang port Sumber Deskripsi
      Semua TCP TCP 0-65535 the_ID_of_this_security_group kustom Aturan Lustre lalu lintas masuk
      penting
      • Pastikan bahwa grup keamanan yang Anda gunakan mengikuti instruksi konfigurasi yang disediakanKontrol akses sistem file dengan Amazon VPC. Anda harus mengatur grup keamanan untuk memungkinkan lalu lintas masuk pada port 988 dan 1018-1023 dari grup keamanan itu sendiri atau CIDR subnet penuh, yang diperlukan untuk memungkinkan host sistem file berkomunikasi satu sama lain.

      • Jika Anda membuat sistem file berkemampuan EFA, pastikan Anda menentukan grup keamanan berkemampuan EFA.

    • Untuk Subnet, pilih nilai apa pun dari daftar subnet yang tersedia.

  12. Untuk bagian Enkripsi, pilihan yang tersedia bervariasi tergantung pada jenis sistem file mana yang Anda buat:

    • Untuk sistem file persisten, Anda dapat memilih kunci enkripsi AWS Key Management Service (AWS KMS) untuk mengenkripsi data pada sistem file Anda saat istirahat.

    • Untuk sistem file scratch, data saat istirahat dienkripsi menggunakan kunci yang dikelola oleh. AWS

    • Untuk scratch 2 dan sistem file persisten, data dalam perjalanan dienkripsi secara otomatis ketika sistem file diakses dari jenis EC2 instans Amazon yang didukung. Untuk informasi selengkapnya, lihat Mengenkripsi data dalam perjalanan.

  13. Untuk bagian opsional Impor/Ekspor Data Repositori, menautkan sistem file Anda ke repositori data Amazon S3 dinonaktifkan secara default. Untuk informasi tentang mengaktifkan opsi ini dan membuat asosiasi repositori data ke bucket S3 yang ada, lihat. Untuk menautkan bucket S3 saat membuat sistem file (konsol)

    penting
    • Memilih opsi ini juga menonaktifkan cadangan dan Anda tidak akan dapat mengaktifkan cadangan saat membuat sistem file.

    • Jika Anda menautkan satu atau beberapa sistem file Amazon FSx untuk Lustre ke bucket Amazon S3, jangan hapus bucket Amazon S3 hingga semua sistem file yang ditautkan telah dihapus.

    • Sistem file Intelligent-Tiering tidak mendukung penautan ke repositori data Amazon S3.

  14. Untuk Logging opsional, logging diaktifkan secara default. Saat diaktifkan, kegagalan dan peringatan untuk aktivitas repositori data pada sistem file Anda akan dicatat ke Amazon Logs. CloudWatch Untuk informasi tentang mengonfigurasi logging, lihatMengelola logging.

  15. Dalam Backup dan pemeliharaan opsional, Anda dapat melakukan hal berikut.

    • Nonaktifkan cadangan otomatis harian. Opsi ini diaktifkan secara default, kecuali jika Anda mengaktifkan Impor/Ekspor Repositori Data.

    • Atur waktu mulai untuk Jendela backup otomatis harian.

    • Atur periode retensi cadangan otomatis, dari 1 - 35 hari.

    • Atur waktu mulai Jendela pemeliharaan mingguan, atau biarkan saja pengaturan default Tidak Ada preferensi.

    Untuk informasi selengkapnya, lihat Melindungi data Anda dengan backup dan Amazon FSx untuk jendela pemeliharaan Lustre.

  16. Untuk Root Squash opsional, root squash dinonaktifkan secara default. Untuk informasi tentang mengaktifkan dan mengonfigurasi root squash, lihat. Untuk mengaktifkan root squash saat membuat sistem file (konsol)

  17. Buat tag apa pun yang ingin Anda terapkan ke sistem file Anda.

  18. Pilih Selanjutnya untuk menampilkan halaman Buat ringkasan sistem file.

  19. Tinjau pengaturan untuk sistem file Amazon FSx untuk Lustre Anda, dan pilih Buat sistem file.

Sekarang setelah Anda membuat sistem file Anda, perhatikan nama domain dan nama pemasangan sistem file yang memenuhi syarat untuk langkah selanjutnya. Anda dapat menemukan nama domain yang memenuhi syarat dan nama mount untuk sistem file dengan memilih nama sistem file di dasbor sistem File, dan kemudian memilih Lampirkan.

Langkah 2: Instal dan konfigurasikan Lustre klien

Sebelum Anda dapat mengakses sistem file Amazon FSx for Lustre dari EC2 instans Amazon Anda, Anda harus melakukan hal berikut:

  • Verifikasi EC2 instans Anda memenuhi persyaratan kernel minimum.

  • Perbarui kernel jika diperlukan.

  • Unduh dan instal Lustre klien.

Untuk memeriksa versi kernel dan mengunduh Lustre klien
  1. Buka jendela terminal pada EC2 instance Anda.

  2. Tentukan kernel mana yang sedang berjalan pada instans komputasi Anda dengan menjalankan perintah berikut.

    uname -r
  3. Lakukan salah satu tindakan berikut:

    • Jika perintah kembali 6.1.79-99.167.amzn2023.x86_64 untuk EC2 instance berbasis x86, atau 6.1.79-99.167.amzn2023.aarch64 atau lebih tinggi untuk instance berbasis Graviton2, unduh dan instal EC2 klien dengan perintah berikut. Lustre

      sudo dnf install -y lustre-client
    • Jika perintah mengembalikan hasil kurang dari 6.1.79-99.167.amzn2023.x86_64 untuk instance berbasis x86, atau kurang dari 6.1.79-99.167.amzn2023.aarch64 untuk EC2 instance berbasis Graviton2 EC2 , perbarui kernel dan reboot instance Amazon Anda dengan menjalankan perintah berikut. EC2

      sudo dnf -y update kernel && sudo reboot

      Konfirmasikan bahwa kernel telah diperbarui menggunakan perintah uname -r. Kemudian unduh dan instal Lustre klien seperti dijelaskan di atas.

    Untuk informasi tentang menginstal Lustre klien pada distribusi Linux lainnya, lihatMenginstal Lustre klien.

Langkah 3: Pasang sistem file

Untuk me-mount sistem file Anda, Anda akan membuat direktori pemasangan, atau mount point, dan kemudian me-mount sistem file ke klien Anda, dan memverifikasi bahwa klien Anda dapat mengakses sistem file.

Untuk memasang sistem file Anda
  1. Buatlah sebuah direktori untuk titik pemasangan dengan perintah berikut ini.

    sudo mkdir -p /mnt/fsx
  2. Pasang sistem file Amazon FSx for Lustre ke direktori yang Anda buat. Gunakan perintah berikut dan ganti item berikut:

    • Ganti file_system_dns_name dengan nama Sistem Nama Domain (DNS) dari sistem file sebenarnya.

    • Ganti mountname dengan nama mount sistem file, yang bisa Anda dapatkan dengan menjalankan describe-file-systems AWS CLI perintah atau operasi DescribeFileSystemsAPI.

    sudo mount -t lustre -o relatime,flock file_system_dns_name@tcp:/mountname /mnt/fsx

    Perintah ini memasang sistem file Anda dengan dua pilihan, -o relatime dan flock:

    • relatime— Sementara atime opsi mempertahankan atime (waktu akses inode) data untuk setiap kali file diakses, relatime opsi ini juga mempertahankan atime data, tetapi tidak untuk setiap kali file diakses. Dengan relatime opsi diaktifkan, atime data ditulis ke disk hanya jika file telah dimodifikasi sejak atime data terakhir diperbarui (mtime), atau jika file terakhir diakses lebih dari jumlah waktu tertentu yang lalu (6 jam secara default). Menggunakan salah satu atime opsi relatime or akan mengoptimalkan proses rilis file.

      catatan

      Jika beban kerja Anda memerlukan akurasi waktu akses yang tepat, Anda dapat memasang dengan opsi atime pemasangan. Namun, hal itu dapat memengaruhi kinerja beban kerja dengan meningkatkan lalu lintas jaringan yang diperlukan untuk mempertahankan nilai waktu akses yang tepat.

      Jika beban kerja Anda tidak memerlukan waktu akses metadata, menggunakan opsi noatime pemasangan untuk menonaktifkan pembaruan untuk mengakses waktu dapat memberikan peningkatan kinerja. Ketahuilah bahwa proses atime terfokus seperti rilis file atau rilis validitas data akan menjadi tidak akurat dalam rilisnya.

    • flock — Memungkinkan penguncian file untuk sistem file Anda. Jika Anda tidak ingin penguncian file diaktifkan, gunakan perintah mount tanpa flock.

  3. Verifikasi bahwa perintah pemasangan berhasil dengan mencantumkan isi direktori tempat Anda memasang sistem file /mnt/fsx, dengan menggunakan perintah berikut ini.

    ls /mnt/fsx import-path lustre $

    Anda juga dapat menggunakan perintah df, berikut.

    df Filesystem 1K-blocks Used Available Use% Mounted on devtmpf 1001808 0 1001808 0% /dev tmpfs 1019760 0 1019760 0% /dev/shm tmpfs 1019760 392 1019368 1% /run tmpfs 1019760 0 1019760 0% /sys/fs/cgroup /dev/xvda1 8376300 1263180 7113120 16% / 123.456.789.0@tcp:/mountname 3547698816 13824 3547678848 1% /mnt/fsx tmpfs 203956 0 203956 0% /run/user/1000

    Hasilnya menunjukkan sistem FSx file Amazon terpasangon /mnt/fsx.

Langkah 4: Jalankan alur kerja Anda

Kini setelah sistem file Anda dibuat dan dipasang ke instans komputasi, Anda dapat menggunakannya untuk menjalankan beban kerja komputasi Anda yang ber-performa tinggi.

Anda dapat membuat asosiasi repositori data untuk menautkan sistem file Anda ke repositori data Amazon S3, Untuk informasi selengkapnya, lihat. Menautkan sistem file Anda ke bucket Amazon S3

Setelah menautkan sistem file ke repositori data Amazon S3, Anda dapat mengekspor data yang telah Anda tulis ke sistem file Anda kembali ke bucket Amazon S3 kapan saja. Dari sebuah terminal pada salah satu instans komputasi Anda, jalankan perintah berikut untuk mengekspor file ke bucket Amazon S3 Anda.

sudo lfs hsm_archive file_name

Untuk informasi lebih lanjut tentang cara menjalankan perintah ini pada sebuah folder atau koleksi besar file dengan cepat, lihat Mengekspor file menggunakan perintah HSM.

Langkah 5: Bersihkan Sumber Daya

Setelah Anda menyelesaikan latihan ini, Anda harus mengikuti langkah-langkah ini untuk membersihkan sumber daya Anda dan melindungi AWS akun Anda.

Untuk membersihkan sumber daya
  1. Jika Anda ingin melakukan ekspor akhir, jalankan perintah berikut.

    nohup find /mnt/fsx -type f -print0 | xargs -0 -n 1 sudo lfs hsm_archive &
  2. Di EC2 konsol Amazon, hentikan instans Anda. Untuk informasi selengkapnya, lihat Menghentikan Instans Anda di Panduan EC2 Pengguna Amazon.

  3. Di konsol Amazon FSx for Lustre, hapus sistem file Anda dengan prosedur berikut:

    1. Di panel navigasi, pilih Sistem file.

    2. Pilih sistem file yang ingin Anda hapus dari daftar sistem berkas di dasbor.

    3. Pilih Tindakan, pilih Hapus sistem file.

    4. Di kotak dialog yang muncul, pilih apakah Anda ingin mengambil cadangan akhir dari sistem file. Kemudian berikan ID sistem file untuk mengonfirmasi penghapusan. Pilih Hapus sistem file.

  4. Jika Anda membuat bucket Amazon S3 untuk latihan ini, dan jika Anda tidak ingin menyimpan data yang Anda ekspor, sekarang Anda dapat menghapusnya. Untuk informasi selengkapnya, lihat Menghapus bucket di Panduan Pengguna Layanan Penyimpanan Sederhana Amazon.