Konfiguration von EFA-Clients - FSx für Lustre
Schritt 1: Installieren Sie die erforderlichen TreiberSchritt 2: EFA für den Lustre-Client konfigurierenSchritt 3: EFA-Schnittstellen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Konfiguration von EFA-Clients

Gehen Sie wie folgt vor, um Ihren Lustre-Client für den Zugriff auf ein FSx for Lustre-Dateisystem über den Elastic Fabric Adapter (EFA) einzurichten.

EFA wird auf Lustre-Clients unterstützt, auf denen die folgenden Betriebssysteme ausgeführt werden:

  • Amazon Linux 2023 (AL2023)

  • Red Hat Enterprise Linux (RHEL) 9.5 oder neuer

  • Ubuntu 22.04 oder neuer mit Kernel-Version 6.8+

EFA wird auf den unten aufgeführten Lustre-Clients unterstützt. Weitere Informationen finden Sie unter Den Client installieren Lustre.

EFA wird auf Nitro EC2 v4-Instances (oder höher) unterstützt, die EFA unterstützen, mit Ausnahme der trn2-Instance-Familie. Weitere Informationen finden Sie im EC2 Amazon-Benutzerhandbuch unter Unterstützte Instance-Typen.

Schritt 1: Installieren Sie die erforderlichen Treiber

Anmerkung

Wenn Sie ein Deep Learning-AMI verwenden, können Sie diesen Schritt überspringen, da sowohl der EFA-Treiber als auch der GPUDirect NVIDIA-Speichertreiber (GDS) vorinstalliert sind.

Installieren Sie den EFA-Treiber

Folgen Sie den Anweisungen in Schritt 3: Installation der EFA-Software im EC2 Amazon-Benutzerhandbuch.

Installieren Sie den GDS-Treiber (optional)

Dieser Schritt ist nur erforderlich, wenn Sie NVIDIA GPUDirect Storage (GDS) mit FSx for Lustre verwenden möchten.

Voraussetzungen:

  • Amazon EC2 P5-, P5e-, P5en- oder P6-B200-Instanz

  • NVIDIA GDS-Treiberversion 2.24.2 oder höher

Um den GPUDirect NVIDIA-Speichertreiber auf Ihrer Client-Instanz zu installieren

  1. Klonen Sie das NVIDIA GDS-Repository:

    git clone https://github.com/NVIDIA/gds-nvidia-fs.git

  2. Erstellen und installieren Sie den Treiber:

    cd gds-nvidia-fs/src/
export NVFS_MAX_PEER_DEVS=128
export NVFS_MAX_PCI_DEPTH=16
sudo -E make
sudo insmod nvidia-fs.ko

Schritt 2: EFA für den Lustre-Client konfigurieren

Um über eine EFA-Schnittstelle auf ein FSx for Lustre-Dateisystem zuzugreifen, müssen Sie die Lustre-EFA-Module installieren und EFA-Schnittstellen konfigurieren.

Quick Setup

Um Ihren Lustre-Client schnell zu konfigurieren

  1. Connect zu Ihrer EC2 Amazon-Instance her.

  2. Laden Sie die Datei mit dem Konfigurationsskript herunter und entpacken Sie sie:

    curl -O https://docs.aws.amazon.com/fsx/latest/LustreGuide/samples/configure-efa-fsx-lustre-client.zip
unzip configure-efa-fsx-lustre-client.zip

  3. Wechseln Sie in den configure-efa-fsx-lustre-client Ordner und führen Sie das Setup-Skript aus:

    cd configure-efa-fsx-lustre-client
sudo ./setup.sh

    Das Skript führt automatisch Folgendes aus:

    • Importiert Lustre-Module

    • Konfiguriert TCP- und EFA-Schnittstellen

    • Erzeugt einen Systemd-Dienst für die automatische Konfiguration beim Neustart

    Eine Liste der Optionen und Anwendungsbeispiele, die Sie mit dem setup.sh Skript verwenden können, finden Sie in der README.md Datei in der ZIP-Datei.

Manuelles Verwalten des Systemd-Dienstes

Die Systemd-Dienstdatei wird unter/etc/systemd/system/configure- efa-fsx-lustre-client .service erstellt. Im Folgenden finden Sie einige hilfreiche Befehle im Zusammenhang mit Systemd:

# Check status
sudo systemctl status configure-efa-fsx-lustre-client.service

# View logs
sudo journalctl -u configure-efa-fsx-lustre-client.service
# View warnings/errors from dmesg
sudo dmesg

Weitere Informationen finden Sie in der README.md Datei in der ZIP-Datei.

Konfiguration für automatisches Mounten (optional)

Informationen zum automatischen Mounten Ihres Amazon FSx for Lustre-Dateisystems beim Systemstart finden Sie unterAutomatisches Mounten Ihres FSx Amazon-Dateisystems.

Schritt 3: EFA-Schnittstellen

Jedes Dateisystem FSx für Lustre hat ein maximales Limit von 1024 EFA-Verbindungen für alle Client-Instanzen.

Das configure-efa-fsx-lustre-client.sh Skript konfiguriert automatisch EFA-Schnittstellen auf der Grundlage des Instanztyps.

Instance-Typ Standardanzahl von EFA-Schnittstellen
p6-b200.48xlarge

8
p5en.48x groß

8
p 5e. 48 x groß

8
p5.48xlarge

8
Andere Instanzen mit mehreren Netzwerkkarten

2
Andere Instanzen mit einer einzigen Netzwerkkarte

1

Jede konfigurierte EFA-Schnittstelle auf einer Client-Instance zählt als eine Verbindung im Hinblick auf das EFA-Verbindungslimit von 1024, wenn sie mit einem FSx for Lustre-Dateisystem verbunden ist.

Manuelles Verwalten von EFA-Schnittstellen

Instances mit mehr EFA-Schnittstellen unterstützen in der Regel einen höheren Durchsatz. Sie können die Anzahl der Schnittstellen anpassen, um die Leistung für Ihre spezifischen Workloads zu optimieren, solange Sie das gesamte EFA-Verbindungslimit einhalten.

Sie können EFA-Schnittstellen mit den folgenden Befehlen manuell verwalten:

  1. Verfügbare EFA-Geräte anzeigen:

    for interface in /sys/class/infiniband/*; do
    if [ ! -e "$interface/device/driver" ]; then continue; fi
    driver=$(basename "$(realpath "$interface/device/driver")")
    if [ "$driver" != "efa" ]; then continue; fi
    echo $(basename $interface)
done

  2. Aktuell konfigurierte Schnittstellen anzeigen:

    sudo lnetctl net show

  3. Fügen Sie eine EFA-Schnittstelle hinzu:

    sudo lnetctl net add --net efa --if device_name —peer-credits 32

    device_nameErsetzen Sie es durch einen tatsächlichen Gerätenamen aus der Liste in Schritt 1.

  4. Entfernen Sie eine EFA-Schnittstelle:

    sudo lnetctl net del --net efa --if device_name

    device_nameErsetzen Sie es durch einen tatsächlichen Gerätenamen aus der Liste in Schritt 2.