EFA クライアントの設定 - FSx for Lustre
ステップ 1: 必要なドライバーをインストールするステップ 2: Lustre クライアントの EFA を設定するステップ 3: EFA インターフェイス

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

EFA クライアントの設定

次の手順を使用して、Elastic Fabric Adapter (EFA) 経由で FSx for Lustre ファイルシステムにアクセスするように Lustre クライアントを設定します。

EFA は、次のオペレーティングシステムを実行する Lustre クライアントでサポートされています。

  • Amazon Linux 2023 (AL2023)

  • Red Hat Enterprise Linux (RHEL) 9.5 以降

  • カーネルバージョン 6.8 以降の Ubuntu 22.04 以降

EFA は、以下に示す Lustre クライアントでサポートされています。詳細については、「Lustre クライアントのインストール」を参照してください。

EFA は、trnEC2インスタンスファミリーを除き、EFA をサポートする Nitro v4 (またはそれ以上) EC2 インスタンスでサポートされています。Amazon EC2 ユーザーガイド」の「サポートされているインスタンスタイプ」を参照してください。

ステップ 1: 必要なドライバーをインストールする

注記

Deep Learning AMI を使用している場合は、EFA ドライバーと NVIDIA GPUDirect Storage (GDS) ドライバーの両方がプリインストールされているため、このステップをスキップできます。

EFA ドライバーをインストールする

Amazon EC2 ユーザーガイド」の「ステップ 3: EFA ソフトウェアをインストールする」の手順に従います。

GDS ドライバーをインストールする (オプション）

このステップは、FSx for Lustre で NVIDIA GPUDirect Storage (GDS) を使用する場合にのみ必要です。

要件:

  • Amazon EC2 P5, P5e, P5en、または P6-B200 インスタンス

  • NVIDIA GDS ドライバーバージョン 2.24.2 以降

クライアントインスタンスに NVIDIA GPUDirect Storage ドライバーをインストールするには

  1. NVIDIA GDS リポジトリのクローンを作成します。

    git clone https://github.com/NVIDIA/gds-nvidia-fs.git

  2. ドライバーをビルドしてインストールします。

    cd gds-nvidia-fs/src/
export NVFS_MAX_PEER_DEVS=128
export NVFS_MAX_PCI_DEPTH=16
sudo -E make
sudo insmod nvidia-fs.ko

ステップ 2: Lustre クライアントの EFA を設定する

EFA インターフェイスを使用して FSx for Lustre ファイルシステムにアクセスするには、Lustre EFA モジュールをインストールし、EFA インターフェイスを設定する必要があります。

Quick Setup

Lustre クライアントをすばやく設定するには

  1. Amazon EC2 インスタンスに接続します。

  2. 設定スクリプトを含む ファイルをダウンロードして解凍します。

    curl -O https://docs.aws.amazon.com/fsx/latest/LustreGuide/samples/configure-efa-fsx-lustre-client.zip
unzip configure-efa-fsx-lustre-client.zip

  3. configure-efa-fsx-lustre-client フォルダに変更し、セットアップスクリプトを実行します。

    cd configure-efa-fsx-lustre-client
sudo ./setup.sh

    スクリプトは以下を自動的に実行します。

    • Lustre モジュールをインポートする

    • TCP および EFA インターフェイスを設定する

    • 再起動時に自動設定用の systemd サービスを作成します

    setup.sh スクリプトで使用できるオプションと使用例のリストについては、zip README.md ファイルの ファイルを参照してください。

systemd サービスの手動管理

systemd サービスファイルは、/etc/systemd/system/configure-efa-fsx-lustre-client.service に作成されます。以下は、systemd 関連の便利なコマンドです。

# Check status
sudo systemctl status configure-efa-fsx-lustre-client.service

# View logs
sudo journalctl -u configure-efa-fsx-lustre-client.service
# View warnings/errors from dmesg
sudo dmesg

詳細については、zip README.mdファイルの ファイルを参照してください。

自動マウント設定 (オプション）

起動時に Amazon FSx for Lustre ファイルシステムを自動的にマウントする方法については、「」を参照してくださいAmazon FSx ファイルシステムの自動マウント。

ステップ 3: EFA インターフェイス

各 FSx for Lustre ファイルシステムの最大接続数は、すべてのクライアントインスタンスで 1024 EFA 接続です。

configure-efa-fsx-lustre-client.sh スクリプトは、インスタンスタイプに基づいて EFA インターフェイスを自動的に設定します。

インスタンスタイプ EFA インターフェイスのデフォルト数
p6-b200.48xlarge

8
p5en.48xlarge

8
p5e.48xlarge

8
p5.48xlarge

8
複数のネットワークカードを持つ他のインスタンス

2
1 つのネットワークカードを持つ他のインスタンス

1

クライアントインスタンスで設定された各 EFA インターフェイスは、FSx for Lustre ファイルシステムに接続されている場合、1024 EFA 接続制限に対して 1 つの接続としてカウントされます。

EFA インターフェイスの手動管理

通常、より多くの EFA インターフェイスを持つインスタンスは、より高いスループットをサポートします。EFA 接続の合計制限内であれば、インターフェイスの数をカスタマイズして、特定のワークロードのパフォーマンスを最適化できます。

次のコマンドを使用して、EFA インターフェイスを手動で管理できます。

  1. 使用可能な EFA デバイスを表示します。

    for interface in /sys/class/infiniband/*; do
    if [ ! -e "$interface/device/driver" ]; then continue; fi
    driver=$(basename "$(realpath "$interface/device/driver")")
    if [ "$driver" != "efa" ]; then continue; fi
    echo $(basename $interface)
done

  2. 現在設定されているインターフェイスを表示します。

    sudo lnetctl net show

  3. EFA インターフェイスを追加します。

    sudo lnetctl net add --net efa --if device_name —peer-credits 32

    device_name をステップ 1 のリストから実際のデバイス名に置き換えます。

  4. EFA インターフェイスを削除します。

    sudo lnetctl net del --net efa --if device_name

    device_name をステップ 2 のリストから実際のデバイス名に置き換えます。