AWS Deep Learning Base GPU AMI (Ubuntu 24.04)

• Deep Learning Base OSS Nvidia ドライバー GPU AMI (Ubuntu 24.04) ${YYYY-MM-DD}

• DLAMI の重要な変更点を参照してください。

• OSS Nvidia ドライバーを使用した深層学習はG4dn, G5, G6, Gr6, G6e, P4d, P4de, P5, P5e, P5en, P6-B200 をサポートしています。

• サポートされている AWS サービス: Amazon EC2

• オペレーティングシステム: Ubuntu 24.04

• コンピューティングアーキテクチャ: x86

• 利用可能な最新バージョンは、次のパッケージにインストールされます。

  • Linux カーネル: 6.8

  • FSx Lustre

  • Docker

  • /usr/bin/aws での AWS CLI v2

  • NVIDIA DCGM

  • Nvidia コンテナツールキット：

    • バージョンコマンド: nvidia-container-cli -V

  • Nvidia-docker2：

    • Version コマンド: nvidia-docker バージョン

• NVIDIA ドライバー: 570.172.08

• NVIDIA CUDA12.6 および 12.8 スタック：

  • CUDA、NCCL、および cuDDN インストールディレクトリ： /usr/local/cuda-xx.x/

    • 例: /usr/local/cuda-12.8/ 、/usr/local/cuda-12.8/

  • コンパイル済み NCCL バージョン: 2.25.1

  • デフォルトの CUDA: 12.8

    • PATH /usr/local/cuda が CUDA 12.8 を指す

    • 以下の env vars を更新しました。

      • LD_LIBRARY_PATH に /usr/local/cuda-12.8/lib:/usr/local/cuda-12.8/lib64:/usr/local/cuda-12.8:/usr/local/cuda-12.8/targets/sbsa-linux/lib:/usr/local/cuda-12.8/nvm/lib64:/usr/local/cuda-12.8/extras/CUPTI/lib64 を使用する

      • /usr/local/cuda-12.8/bin/:/usr/local/cuda-12.8/include/ を持つ PATH

      • 別の CUDA バージョンの場合は、それに応じて LD_LIBRARY_PATH を更新してください。

• EFA インストーラ: 1.43.1

• Nvidia GDRCopy: 2.5.1

• AWS OFI NCCL プラグインに EFA インストーラが付属

  • パス /opt/amazon/ofi-nccl/lib/x86_64-linux-gnu および /opt/amazon/ofi-nccl/efa が LD_LIBRARY_PATH に追加されます。

• /usr/bin/aws での AWS CLI v2

• EBS ボリュームタイプ: gp3

• Python: /usr/bin/python3.12

• NVMe インスタンスストアの場所 (サポートされている EC2 インスタンス): /opt/dlami/nvme

• SSM パラメータを使用して AMI-ID をクエリする (リージョンの例は us-east-1):

  • OSS Nvidia ドライバー：

    SSM_PARAMETER=base-oss-nvidia-driver-gpu-ubuntu-24.04/latest/ami-id \
        aws ssm get-parameter --region us-east-1 \
        --name /aws/service/deeplearning/ami/x86_64/$SSM_PARAMETER  \
        --query "Parameter.Value" \
        --output text

• AWSCLI で AMI-ID をクエリする (リージョンの例は us-east-1)。

  • OSS Nvidia ドライバー：

    aws ec2 describe-images --region us-east-1 \
        --owners amazon \
        --filters 'Name=name,Values=Deep Learning Base OSS Nvidia Driver GPU AMI (Ubuntu 24.04) ????????' 'Name=state,Values=available' \
        --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
        --output text

複数のネットワークカードを持つ EC2 インスタンス

• EFA をサポートする多くのインスタンスタイプには複数のネットワークカードもあります。

• DeviceIndex は各ネットワークカードに固有であり、NetworkCard あたりの ENIs の制限より小さい負以外の整数である必要があります。P5 では、NetworkCard あたりの ENIs の数は 2 です。つまり、DeviceIndex の有効な値は 0 または 1 のみです。

  • プライマリネットワークインターフェイス (ネットワークカードインデックス 0、デバイスインデックス 0) の場合は、EFA (EFA with ENA) インターフェイスを作成します。EFA のみのネットワークインターフェイスをプライマリネットワークインターフェイスとして使用することはできません。

  • 追加のネットワークインターフェイスごとに、ENA 帯域幅要件や IP アドレス空間などのユースケースに応じて、次に未使用のネットワークカードインデックス、デバイスインデックス 1、EFA (EFA with ENA) または EFA のみのネットワークインターフェイスを使用します。ユースケースの例については、P5 インスタンスの EFA 設定」を参照してください。

  • 詳細については、https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/efa-acc-inst-types.html「EFA ガイド」を参照してください。

カーネル

• カーネルバージョンは コマンドを使用して固定されます。

  echo linux-aws hold | sudo dpkg —set-selections
  echo linux-headers-aws hold | sudo dpkg —set-selections
  echo linux-image-aws hold | sudo dpkg —set-selections

• インストールされたドライバーとパッケージバージョンとの互換性を確保するために、カーネルバージョンを更新しないことをお勧めします (セキュリティパッチによる場合を除く）。ユーザーが引き続き更新する場合は、次のコマンドを実行してカーネルバージョンのピン留めを解除できます。

  echo linux-aws install | sudo dpkg -set-selections
  echo linux-headers-aws install | sudo dpkg -set-selections
  echo linux-image-aws install | sudo dpkg -set-selections

• DLAMI の新しいバージョンごとに、利用可能な最新の互換性のあるカーネルが使用されます。

• Nvidia ドライバーを 570.158.01 から 570.172.08 にアップグレードし、7 月の Nvidia セキュリティ速報に記載されている CVE の を修正

• P6-B200 EC2 インスタンスのサポートを追加

• EFA インストーラをバージョン 1.40.0 から 1.41.0 にアップグレードしました

• コンパイル済み NCCL バージョンをバージョン 2.25.1 から 2.26.5 に更新

• Nvidia DCGM バージョンを 3.3.9 から 4.4.3 に更新

• Deep Learning Base OSS DLAMI for Ubuntu 24.04 の初回リリース