AWS Deep Learning AMI GPU PyTorch 2.4 (Ubuntu 22.04)

• Deep Learning OSS Nvidia Driver AMI GPU PyTorch 2.4.${PATCH_VERSION} (Ubuntu 22.04) ${YYYY-MM-DD}

• 「DLAMI に関する重要な変更」を参照してください。

• OSS Nvidia Driver による深層学習は、G4dn、G5、G6、Gr6、P4、P4de、P5、P5e、P5en をサポートしています。

• サポートされている AWS のサービス: EC2

• オペレーティングシステム: Ubuntu 22.04

• コンピューティングアーキテクチャ: x86

• Python: /opt/conda/envs/pytorch/bin/python

• Nvidia Driver:

  • OSS Nvidia Driver: 550.144.03

• NVIDIA CUDA12.1 スタック:

  • CUDA、NCCL、および cuDDN インストールパス: /usr/local/cuda-12.4/

  • デフォルトの CUDA: 12.4

    • /usr/local/cuda のパスは /usr/local/cuda-12.4/ を指します

    • 以下の環境変数が更新されました。

      • LD_LIBRARY_PATH に /usr/local/cuda/lib:/usr/local/cuda/lib64:/usr/local/cuda:/usr/local/cuda/targets/x86_64-linux/lib を設定しました

      • パスに /usr/local/cuda/bin/:/usr/local/cuda/include/ を設定しました

  • コンパイル済みシステム NCCL バージョンが /usr/local/cuda/: 2.21.5 に存在します

  • PyTorch conda 環境からの PyTorch のコンパイル済み NCCL のバージョン: 2.20.5

• NCCL テストの場所:

  • all_reduce、all_gather、および reduce_scatter: /usr/local/cuda-xx.x/efa/test-cuda-xx.x/

  • NCCL テストを実行するため、LD_LIBRARY_PATH は既に必要なパスで更新されています。

    • 共通パスは、既に LD_LIBRARY_PATH に追加されています。

      • /opt/amazon/efa/lib:/opt/amazon/openmpi/lib:/opt/aws-ofi-nccl/lib:/usr/local/lib:/usr/lib

  • LD_LIBRARY_PATH は CUDA バージョンパスで更新されました

    • /usr/local/cuda/lib:/usr/local/cuda/lib64:/usr/local/cuda:/usr/local/cud/targets/x86_64-linux/lib

• EFA インストーラ: 1.34.0

• Nvidia GDRCopy: 2.4.1

• Nvidia Transformer Engine: v1.11.0

• AWS OFI NCCL プラグイン: EFA Installer-aws の一部としてインストールされます

  • インストールパス: /opt/aws-ofi-nccl/ /opt/aws-ofi-nccl/lib のパスが LD_LIBRARY_PATH に追加されました。

  • ring、message_transfer のテストパス: /opt/aws-ofi-nccl/tests

  • 注: PyTorch パッケージには、動的にリンクされた AWS OFI NCCL プラグインが conda パッケージの aws-ofi-nccl-dlc パッケージとして付属しており、PyTorch はシステム AWS OFI NCCL の代わりにそのパッケージを使用します。

• AWS CLI v2 は aws2、AWS CLI v1 は aws です

• EBS ボリュームタイプ: gp3

• Python バージョン: 3.11

• SSM パラメータで AMI-ID をクエリ (例: リージョンは us-east-1):

  • OSS Nvidia Driver:

    aws ssm get-parameter --region us-east-1 \
            --name /aws/service/deeplearning/ami/x86_64/oss-nvidia-driver-gpu-pytorch-2.4-ubuntu-22.04/latest/ami-id \
            --query "Parameter.Value" \
            --output text

• AWSCLI で AMI-ID をクエリ (例: リージョンは us-east-1):

  • OSS Nvidia Driver:

    aws ec2 describe-images --region us-east-1 \
        --owners amazon \
        --filters 'Name=name,Values=Deep Learning OSS Nvidia Driver AMI GPU PyTorch 2.4.? (Ubuntu 22.04) ????????' 'Name=state,Values=available' \
        --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
        --output text

P5/P5e インスタンス

• DeviceIndex は各 NetworkCard に固有であり、NetworkCard あたりの ENI の制限値未満の負以外の整数である必要があります。P5 では、NetworkCard あたりの ENI の数は 2 で、DeviceIndex の有効な値は 0 または 1 のみとなります。以下は、awscli を使用した EC2 P5 インスタンスの起動コマンドの例です。最初のインターフェイスの NetworkCardIndex は 0～31、DeviceIndex は 0 で、残りの 31 のインターフェイスの DeviceIndex は 1 であることを示しています。

• NVIDIA Container Toolkit がバージョン 1.17.3 からバージョン 1.17.4 に更新されました

  • 詳細については、こちら https://github.com/NVIDIA/nvidia-container-toolkit/releases/tag/v1.17.4 のリリースノートページを参照してください。

  • Container Toolkit バージョン 1.17.4 では、CUDA 互換ライブラリのマウントが無効になりました。コンテナワークフローで複数の CUDA バージョンとの互換性を確保するには、「CUDA 互換性レイヤーを使用する場合」のチュートリアルに示されているように、LD_LIBRARY_PATH を更新して CUDA 互換ライブラリを含めるようにしてください。

• 2025 年 1 月の NVIDIA GPU ディスプレイドライバーのセキュリティ情報に記載されている CVE に対処するため、NVIDIA ドライバーがバージョン 550.127.05 から 550.144.03 にアップグレードされました。

• Kernel Address Space Layout Randomization (KASLR) 機能の欠陥に対応するために Ubuntu カーネルが変更されているため、G4Dn/G5 インスタンスは OSS Nvidia Driver で CUDA を適切に初期化できません。この問題を軽減するために、DLAMI には G4Dn および G5 インスタンスの独自のドライバーを動的にロードする機能があります。このロードでは、インスタンスが正しく動作するように短時間の初期化待機期間を設けてください。

  • このサービスのステータスと健全性を確認するために、以下のコマンドを使用できます。

• Nvidia TransformerEngine v1.11.0 を追加して、トランスフォーマーモデルの高速化を実現しました。詳細については、https://docs.nvidia.com/deeplearning/transformer-engine/user-guide/index.html を参照してください。

• Nvidia Container Toolkit がバージョン 1.16.1 から 1.16.2 にアップグレードされ、セキュリティの脆弱性 CVE-2024-0133 に対応しました。

• Deep Learning AMI GPU PyTorch 2.4.1 (Ubuntu 22.04) シリーズの初回リリース。conda 環境を含む PyTorch は、Nvidia Driver R550、CUDA=12.4.1、cuDNN=8.9.7、PyTorch NCCL=2.20.5、および EFA=1.34.0 で補完されています。