Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Apa itu Amazon FSx untuk Lustre?
FSx untuk Lustre membuatnya mudah dan hemat biaya untuk meluncurkan dan menjalankan sistem file berkinerja tinggi yang populer. Lustre Gunakan Lustre untuk beban kerja di mana kecepatan penting, seperti machine learning, komputasi performa tinggi (HPC), pemrosesan video, dan pemodelan keuangan.
Sistem Lustre file dirancang untuk aplikasi yang membutuhkan penyimpanan cepat — di mana Anda ingin penyimpanan Anda mengikuti komputasi Anda. Lustredibangun untuk memecahkan masalah pemrosesan kumpulan data dunia yang terus berkembang dengan cepat dan murah. Ini adalah sistem file yang banyak digunakan yang dirancang untuk komputer tercepat di dunia. Ini menyediakan latensi sub-milidetik, hingga beberapa throughput dan hingga TBps jutaan IOPS. Untuk informasi lebih lanjut tentangLustre, lihat situs Lustreweb
Sebagai layanan yang dikelola sepenuhnya, Amazon FSx memudahkan Anda menggunakannya Lustre untuk beban kerja di mana kecepatan penyimpanan penting. FSx untuk Lustre menghilangkan kompleksitas tradisional dalam menyiapkan dan mengelola sistem Lustre file, memungkinkan Anda untuk berputar dan menjalankan sistem file berkinerja tinggi yang teruji pertempuran dalam hitungan menit. Ini juga menyediakan beberapa opsi penyebaran dan kelas penyimpanan sehingga Anda dapat mengoptimalkan biaya untuk kebutuhan Anda.
FSx untuk Lustre sesuai dengan POSIX, sehingga Anda dapat menggunakan aplikasi berbasis Linux Anda saat ini tanpa harus membuat perubahan apa pun. FSx untuk Lustre menyediakan antarmuka sistem file asli dan berfungsi seperti sistem file apa pun dengan sistem operasi Linux Anda. Ini juga memberikan read-after-write konsistensi dan mendukung penguncian file.
Topik
Beberapa opsi penerapan dan kelas penyimpanan
Amazon FSx for Lustre menawarkan pilihan sistem file awal dan persisten untuk mengakomodasi kebutuhan pemrosesan data yang berbeda. Sistem file scratch yang ideal untuk penyimpanan sementara dan pengolahan jangka pendek data. Data tidak direplikasi dan tidak bertahan jika file server gagal. Sistem file persisten ideal untuk penyimpanan jangka panjang dan beban kerja yang berfokus pada throughput. Dalam sistem file persisten, data direplikasi, dan server file diganti jika mereka gagal. Untuk informasi selengkapnya, lihat Opsi kelas penyebaran dan penyimpanan FSx untuk sistem file Lustre.
Amazon FSx for Lustre menawarkan kelas penyimpanan solid state drive (SSD), Intelligent-Tiering, dan hard disk drive (HDD) yang dioptimalkan untuk berbagai persyaratan pemrosesan data:
Kelas penyimpanan SSD dioptimalkan untuk beban kerja yang memiliki operasi file kecil dan acak dan membutuhkan throughput hingga TBps throughput. Ini menyediakan akses latensi sub-milidetik yang konsisten ke kumpulan data lengkap Anda.
Kelas penyimpanan Intelligent-Tiering cocok dan direkomendasikan untuk sebagian besar beban kerja yang tidak memerlukan latensi rendah yang konsisten di seluruh kumpulan data lengkap Anda. Ini menyediakan penyimpanan yang sepenuhnya elastis dan hemat biaya, hingga beberapa TBps throughput dan akses latensi sub-milidetik ke data yang sering diakses dengan cache baca SSD opsional.
Kelas penyimpanan HDD dapat digunakan dengan beban kerja yang membutuhkan latensi ms satu digit yang konsisten dan hingga puluhan throughput untuk kumpulan data GBps lengkap Anda. Anda dapat secara opsional menyediakan cache baca SSD yang berukuran hingga 20% dari kapasitas penyimpanan HDD Anda.
Untuk informasi selengkapnya, lihat FSx untuk kelas penyimpanan Lustre.
FSx untuk Lustre dan repositori data
Anda dapat FSx menautkan sistem file Lustre ke repositori data di Amazon S3 atau ke penyimpanan data lokal.
FSx untuk integrasi repositori data Lustre S3
FSx untuk Lustre terintegrasi dengan Amazon S3, sehingga memudahkan Anda untuk memproses kumpulan data cloud menggunakan sistem file berkinerja tinggi. Lustre Saat ditautkan ke bucket Amazon S3, sistem file FSx for Lustre secara transparan menampilkan objek S3 sebagai file. Amazon FSx mengimpor daftar semua file yang ada di bucket S3 Anda saat pembuatan sistem file. Amazon juga FSx dapat mengimpor daftar file yang ditambahkan ke repositori data setelah sistem file dibuat. Anda dapat mengatur preferensi impor agar sesuai dengan kebutuhan alur kerja Anda. Sistem file juga memungkinkan Anda untuk menulis data sistem file kembali ke S3. Tugas repositori data menyederhanakan transfer data dan metadata antara sistem file FSx for Lustre Anda dan repositori data tahan lama di Amazon S3. Untuk informasi selengkapnya, lihat Menggunakan repositori data dengan Amazon untuk Lustre FSx dan Tugas repositori data.
FSx untuk Lustre dan repositori data lokal
Dengan Amazon FSx for Lustre, Anda dapat mem-burst beban kerja pemrosesan data dari lokal ke lokasi AWS Cloud dengan mengimpor data menggunakan atau. AWS Direct Connect AWS VPN Untuk informasi selengkapnya, lihat Menggunakan Amazon FSx dengan data lokal.
Mengakses FSx untuk sistem file Lustre
Anda dapat mencampur dan mencocokkan jenis instans komputasi dan Linux Amazon Machine Images (AMIs) yang terhubung ke satu FSx untuk sistem file Lustre.
Sistem file Amazon FSx for Lustre dapat diakses dari beban kerja komputasi yang berjalan di instans Amazon Elastic Compute Cloud (Amazon), di EC2 Amazon Elastic Container Service (Amazon ECS) Container Docker container, dan container yang berjalan di Amazon Elastic Kubernetes Service (Amazon EKS).
Amazon EC2 — Anda mengakses sistem file dari instans EC2 komputasi Amazon menggunakan klien sumber terbukaLustre. EC2 Instans Amazon dapat mengakses sistem file Anda dari Availability Zone lain dalam Amazon Virtual Private Cloud (Amazon VPC) yang sama, asalkan konfigurasi jaringan Anda menyediakan akses di seluruh subnet dalam VPC. Setelah sistem file Amazon FSx untuk Lustre Anda dipasang, Anda dapat bekerja dengan file dan direktorinya seperti yang Anda lakukan menggunakan sistem file lokal.
Amazon EKS — Anda mengakses Amazon FSx untuk Lustre dari kontainer yang berjalan di Amazon EKS menggunakan sumber terbuka FSx untuk driver Lustre CSI, seperti yang dijelaskan dalam Panduan Pengguna Amazon EKS. Container Anda yang berjalan di Amazon EKS dapat menggunakan persisten volume (PVs) berkinerja tinggi yang didukung oleh Amazon FSx untuk Lustre.
Amazon ECS - Anda mengakses Amazon FSx untuk Lustre dari wadah Amazon ECS Docker di instans Amazon. EC2 Untuk informasi selengkapnya, lihat Pemasangan dari Amazon Elastic Container Service.
Amazon FSx for Lustre kompatibel dengan Linux yang paling populer AMIs, termasuk Amazon Linux 2023 dan Amazon Linux 2, Red Hat Enterprise Linux (RHEL), CentOS, Ubuntu, dan SUSE Linux. LustreKlien disertakan dengan Amazon Linux 2023 dan Amazon Linux 2. Untuk RHEL, CentOS, dan Ubuntu, AWS Lustre repositori klien menyediakan klien yang kompatibel dengan sistem operasi ini.
Menggunakan FSx for Lustre, Anda dapat menjalankan beban kerja intensif komputasi dari lokal ke lokasi dengan mengimpor data melalui atau. AWS Cloud AWS Direct Connect AWS Virtual Private Network Anda dapat mengakses sistem FSx file Amazon dari lokal, menyalin data ke sistem file sesuai kebutuhan, dan menjalankan beban kerja intensif komputasi pada instans di cloud.
Untuk informasi selengkapnya tentang klien, instance komputasi, dan lingkungan tempat Anda dapat mengakses FSx sistem file Lustre, lihat. Mengakses sistem file
Integrasi dengan layanan AWS
Amazon FSx for Lustre terintegrasi dengan Amazon SageMaker AI sebagai sumber data input. Saat menggunakan SageMaker AI dengan FSx for Lustre, pekerjaan pelatihan pembelajaran mesin Anda dipercepat dengan menghilangkan langkah pengunduhan awal dari Amazon S3. Selain itu, total biaya kepemilikan (TCO) dikurangi dengan menghindari mengunduh berulang objek umum untuk tugas berulang pada dataset yang sama seperti yang Anda hemat dengan biaya permintaan S3. Untuk informasi lebih lanjut, lihat Apa Itu SageMaker AI? di Panduan Pengembang SageMaker AI Amazon. Untuk panduan tentang cara menggunakan Amazon FSx for Lustre sebagai sumber data untuk SageMaker AI, lihat Mempercepat pelatihan di Amazon AI SageMaker menggunakan sistem file Amazon for FSx Lustre dan Amazon EFS di
FSx untuk Lustre terintegrasi dengan AWS Batch menggunakan EC2 Template Peluncuran. AWS Batch memungkinkan Anda menjalankan beban kerja komputasi batch pada AWS Cloud, termasuk komputasi kinerja tinggi (HPC), pembelajaran mesin (ML), dan beban kerja asinkron lainnya. AWS Batch secara otomatis dan dinamis mengukur instance berdasarkan persyaratan sumber daya pekerjaan. Untuk informasi lebih lanjut, lihat Apa itu AWS Batch? dalam AWS Batch User Guide.
FSx untuk Lustre terintegrasi dengan. AWS ParallelCluster AWS ParallelCluster adalah alat manajemen cluster sumber terbuka yang AWS didukung yang digunakan untuk menyebarkan dan mengelola cluster HPC. Ini dapat secara otomatis membuat FSx untuk sistem file Lustre atau menggunakan sistem file yang ada selama proses pembuatan cluster.
Keamanan dan kepatuhan
FSx untuk sistem file Lustre mendukung enkripsi saat istirahat dan dalam perjalanan. Amazon FSx secara otomatis mengenkripsi data sistem file saat istirahat menggunakan kunci yang dikelola di AWS Key Management Service ()AWS KMS. Data dalam perjalanan juga secara otomatis dienkripsi pada sistem file tertentu Wilayah AWS ketika diakses dari instans Amazon EC2 yang didukung. Untuk informasi selengkapnya tentang enkripsi data di FSx for Lustre, termasuk Wilayah AWS di mana enkripsi data dalam perjalanan didukung, lihat. Enkripsi data di Amazon FSx for Lustre Amazon FSx telah dinilai untuk mematuhi sertifikasi ISO, PCI-DSS, dan SOC, dan memenuhi syarat HIPAA. Untuk informasi selengkapnya, lihat Keamanan di Amazon FSx untuk Lustre.
Asumsi
Dalam panduan ini, kami membuat asumsi sebagai berikut:
-
Jika Anda menggunakan Amazon Elastic Compute Cloud (Amazon EC2), kami berasumsi bahwa Anda sudah familiar dengan layanan tersebut. Untuk informasi selengkapnya tentang cara menggunakan Amazon EC2, lihat EC2 dokumentasi Amazon.
-
Kami berasumsi bahwa Anda sudah familiar dengan menggunakan Amazon Virtual Private Cloud (Amazon VPC). Untuk informasi lebih lanjut tentang cara menggunakan Amazon VPC, lihat Panduan Pengguna Amazon VPC.
-
Kami berasumsi bahwa Anda belum mengubah aturan pada grup keamanan default untuk VPC Anda berdasarkan layanan Amazon VPC. Jika sudah, pastikan Anda menambahkan aturan yang diperlukan untuk mengizinkan lalu lintas jaringan dari EC2 instans Amazon Anda ke sistem file Amazon FSx untuk Lustre Anda. Untuk detail selengkapnya, lihat Kontrol akses sistem file dengan Amazon VPC.
Harga untuk Amazon FSx untuk Lustre
Dengan Amazon FSx untuk Lustre, tidak ada biaya perangkat keras atau perangkat lunak di muka. Anda hanya harus membayar sumber daya yang digunakan, tanpa komitmen minimum, biaya penyiapan, atau biaya tambahan. Untuk informasi tentang harga dan biaya yang terkait dengan layanan, lihat Amazon FSx untuk Harga Lustre
Amazon FSx untuk forum Lustre
Jika Anda mengalami masalah saat menggunakan Amazon FSx untuk Lustre, periksa forum.
Apakah Anda pengguna pertama kali Amazon FSx untuk Lustre?
Jika Anda adalah pengguna pertama kali Amazon FSx untuk Lustre, kami sarankan Anda membaca bagian berikut secara berurutan:
-
Jika Anda siap untuk membuat Amazon pertama Anda FSx untuk sistem file Lustre, coba. Memulai dengan Amazon FSx untuk Lustre
-
Untuk informasi tentang performa, lihat Amazon FSx untuk kinerja Lustre.
-
Untuk informasi tentang menghubungkan sistem file Anda ke repositori data bucket Amazon S3, lihat Menggunakan repositori data dengan Amazon untuk Lustre FSx .
-
Untuk detail keamanan Amazon FSx untuk Lustre, lihat. Keamanan di Amazon FSx untuk Lustre
-
Untuk informasi tentang batas skalabilitas Amazon FSx untuk Lustre, termasuk throughput dan ukuran sistem file, lihat. Kuota layanan untuk Amazon FSx untuk Lustre
-
Untuk informasi tentang Amazon FSx for Lustre API, lihat Referensi API Amazon FSx for Lustre.
