Mengkonfigurasi klien EFA - FSx untuk Lustre
Langkah 1: Instal driver yang diperlukanLangkah 2: Konfigurasikan EFA untuk klien LustreLangkah 3: Antarmuka EFA

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengkonfigurasi klien EFA

Gunakan prosedur berikut untuk mengatur klien Lustre Anda untuk mengakses sistem file FSx for Lustre melalui Elastic Fabric Adapter (EFA).

EFA didukung pada klien Lustre yang menjalankan sistem operasi berikut:

  • Amazon Linux 2023 (AL2023)

  • Red Hat Enterprise Linux (RHEL) 9.5 atau yang lebih baru

  • Ubuntu 22.04 atau yang lebih baru dengan kernel versi 6.8+

EFA didukung pada klien Lustre yang tercantum di bawah ini. Untuk informasi selengkapnya, lihat Menginstal Lustre klien.

EFA didukung pada instans Nitro v4 (atau lebih tinggi) yang mendukung EFA, tidak termasuk keluarga EC2 instans trn2. Lihat Jenis instans yang didukung di Panduan EC2 Pengguna Amazon.

Langkah 1: Instal driver yang diperlukan

catatan

Jika Anda menggunakan AMI Pembelajaran Mendalam, Anda dapat melewati langkah ini karena driver EFA dan driver NVIDIA GPUDirect Storage (GDS) sudah diinstal sebelumnya.

Instal driver EFA

Ikuti petunjuk di Langkah 3: Instal perangkat lunak EFA di Panduan EC2 Pengguna Amazon.

Instal driver GDS (opsional)

Langkah ini hanya diperlukan jika Anda berencana untuk menggunakan NVIDIA GPUDirect Storage (GDS) dengan FSx for Lustre.

Persyaratan:

  • Amazon EC2 P5, P5e, P5en, atau P6-B200 instans

  • Driver NVIDIA GDS versi 2.24.2 atau lebih tinggi

Untuk menginstal driver NVIDIA GPUDirect Storage pada instance klien Anda

  1. Kloning repositori NVIDIA GDS:

    git clone https://github.com/NVIDIA/gds-nvidia-fs.git

  2. Membangun dan menginstal driver:

    cd gds-nvidia-fs/src/
export NVFS_MAX_PEER_DEVS=128
export NVFS_MAX_PCI_DEPTH=16
sudo -E make
sudo insmod nvidia-fs.ko

Langkah 2: Konfigurasikan EFA untuk klien Lustre

Untuk mengakses sistem file FSx for Lustre menggunakan antarmuka EFA, Anda harus menginstal modul Lustre EFA dan mengkonfigurasi antarmuka EFA.

Pengaturan cepat

Untuk mengkonfigurasi klien Lustre Anda dengan cepat

  1. Connect ke EC2 instans Amazon Anda.

  2. Unduh dan unzip file yang berisi skrip konfigurasi:

    curl -O https://docs.aws.amazon.com/fsx/latest/LustreGuide/samples/configure-efa-fsx-lustre-client.zip
unzip configure-efa-fsx-lustre-client.zip

  3. Ubah ke configure-efa-fsx-lustre-client folder dan jalankan skrip pengaturan:

    cd configure-efa-fsx-lustre-client
sudo ./setup.sh

    Skrip secara otomatis melakukan hal berikut:

    • Impor modul Lustre

    • Mengkonfigurasi antarmuka TCP dan EFA

    • Membuat layanan systemd untuk konfigurasi otomatis saat reboot

    Untuk daftar opsi dan contoh penggunaan yang dapat Anda gunakan dengan setup.sh skrip, lihat README.md file di file zip.

Mengelola layanan systemd secara manual

File layanan systemd dibuat di/etc/systemd/system/configure- efa-fsx-lustre-client .service. Berikut ini adalah beberapa perintah terkait sistem yang bermanfaat:

# Check status
sudo systemctl status configure-efa-fsx-lustre-client.service

# View logs
sudo journalctl -u configure-efa-fsx-lustre-client.service
# View warnings/errors from dmesg
sudo dmesg

Untuk informasi selengkapnya, lihat README.md file dalam file zip.

Konfigurasi pemasangan otomatis (opsional)

Untuk informasi tentang pemasangan sistem file Amazon FSx for Lustre secara otomatis saat boot, lihat. Memasang sistem FSx file Amazon Anda secara otomatis

Langkah 3: Antarmuka EFA

Masing-masing FSx untuk sistem file Lustre memiliki batas maksimum 1024 koneksi EFA di semua instance klien.

configure-efa-fsx-lustre-client.shSkrip secara otomatis mengkonfigurasi antarmuka EFA berdasarkan jenis instance.

Tipe Instans Jumlah Default Antarmuka EFA
p6-b200.48xlarge

8
p5en.48xlarge

8
p5e.48xlarge

8
p5.48xlarge

8
Contoh lain dengan beberapa kartu jaringan

2
Contoh lain dengan satu kartu jaringan

1

Setiap antarmuka EFA yang dikonfigurasi pada instance klien dihitung sebagai satu koneksi terhadap batas koneksi 1024 EFA saat terhubung ke sistem file FSx for Lustre.

Mengelola antarmuka EFA secara manual

Instans dengan lebih banyak antarmuka EFA biasanya mendukung throughput yang lebih tinggi. Anda dapat menyesuaikan jumlah antarmuka untuk mengoptimalkan kinerja untuk beban kerja spesifik Anda, selama Anda tetap dalam batas koneksi EFA total.

Anda dapat mengelola antarmuka EFA secara manual menggunakan perintah berikut:

  1. Lihat perangkat EFA yang tersedia:

    for interface in /sys/class/infiniband/*; do
    if [ ! -e "$interface/device/driver" ]; then continue; fi
    driver=$(basename "$(realpath "$interface/device/driver")")
    if [ "$driver" != "efa" ]; then continue; fi
    echo $(basename $interface)
done

  2. Lihat antarmuka yang saat ini dikonfigurasi:

    sudo lnetctl net show

  3. Tambahkan antarmuka EFA:

    sudo lnetctl net add --net efa --if device_name —peer-credits 32

    Ganti device_name dengan nama perangkat yang sebenarnya dari daftar di langkah 1.

  4. Hapus antarmuka EFA:

    sudo lnetctl net del --net efa --if device_name

    Ganti device_name dengan nama perangkat yang sebenarnya dari daftar di langkah 2.