AWS Deep Learning ARM64 Base GPU AMI (Amazon Linux 2023)

• Deep Learning ARM64 Base OSS Nvidia ドライバー GPU AMI (Amazon Linux 2023) ${YYYY-MM-DD}

• G5g, P6e-GB200(CUDA>=12.8 は P6e-GB200 でサポートされています）

• サポートされている AWS サービス: Amazon EC2

• オペレーティングシステム: Amazon Linux 2023

• コンピューティングアーキテクチャ: ARM64

• 利用可能な最新バージョンは、次のパッケージにインストールされます。

  • Linux カーネル: 6.12

  • FSx Lustre

  • Docker

  • /usr/bin/aws での AWS CLI v2

  • NVIDIA DCGM

  • Nvidia コンテナツールキット：

    • バージョンコマンド: nvidia-container-cli -V

  • Nvidia-docker2：

    • Version コマンド: nvidia-docker バージョン

• NVIDIA ドライバー: 570.158.01

• NVIDIA CUDA 12.4、12.5、12.6、12.8 スタック：

  • CUDA、NCCL、および cuDDN インストールディレクトリ： /usr/local/cuda-xx.x/

    • 例: /usr/local/cuda-12.8/ 、/usr/local/cuda-12.8/

  • コンパイルされた NCCL バージョン：

    • 12.4 の CUDA ディレクトリの場合、コンパイルされた NCCL バージョン 2.22.3+CUDA12.4

    • 12.5 の CUDA ディレクトリの場合、コンパイルされた NCCL バージョン 2.22.3+CUDA12.5

    • 12.6 の CUDA ディレクトリの場合、コンパイルされた NCCL バージョン 2.24.3+CUDA12.6

    • 12.8 の CUDA ディレクトリの場合、コンパイルされた NCCL バージョン 2.27.5+CUDA12.8

  • デフォルトの CUDA: 12.8

    • PATH /usr/local/cuda が CUDA 12.8 を指す

    • 以下の env vars を更新しました。

      • LD_LIBRARY_PATH に /usr/local/cuda-12.8/lib:/usr/local/cuda-12.8/lib64:/usr/local/cuda-12.8:/usr/local/cuda-12.8/targets/sbsa-linux/lib:/usr/local/cuda-12.8/nvm/lib64:/usr/local/cuda-12.8/extras/CUPTI/lib64 を使用する

      • /usr/local/cuda-12.8/bin/:/usr/local/cuda-12.8/include/ を持つ PATH

      • 別の CUDA バージョンの場合は、それに応じて LD_LIBRARY_PATH を更新してください。

• EFA インストーラ: 1.42.0

• Nvidia GDRCopy: 2.5.1

• AWS OFI NCCL プラグインに EFA インストーラが付属

  • パス /opt/amazon/ofi-nccl/lib および /opt/amazon/ofi-nccl/efa が LD_LIBRARY_PATH に追加されます。

• /usr/local/bin/aws の AWS CLI v2

• EBS ボリュームタイプ: gp3

• Python: /usr/bin/python3.9

• SSM パラメータを使用して AMI-ID をクエリする (リージョンの例は us-east-1):

  SSM_PARAMETER=base-oss-nvidia-driver-gpu-amazon-linux-2023/latest/ami-id \
      aws ssm get-parameter --region us-east-1 \
      --name /aws/service/deeplearning/ami/arm64/$SSM_PARAMETER  \
      --query "Parameter.Value" \
      --output text

• AWSCLI で AMI-ID をクエリする (リージョンの例は us-east-1):

  aws ec2 describe-images --region us-east-1 --owners amazon --filters 'Name=name,Values=Deep Learning ARM64 Base OSS Nvidia Driver GPU AMI (Amazon Linux 2023) ????????' 'Name=state,Values=available' --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' --output text

カーネル

• カーネルバージョンは コマンドを使用して固定されます。

  sudo dnf versionlock kernel*

• インストールされているドライバーとパッケージバージョンとの互換性を確保するために、カーネルバージョンを更新しないことをお勧めします (セキュリティパッチによる場合を除く）。ユーザーが引き続き更新する場合は、次のコマンドを実行してカーネルバージョンのピン留めを解除できます。

  sudo dnf versionlock delete kernel*
  sudo dnf update -y

• DLAMI の新しいバージョンごとに、利用可能な最新の互換性のあるカーネルが使用されます。

• EC2 インスタンス P6e-GB200 のサポートが追加されました。CUDA>=12.8 は P6e-GB200 でサポートされています。

• EFA 1.42.0 の追加

• Nvidia ドライバーをバージョン 570.133.20 から 570.158.01 にアップグレードしました

• NCCL 2.27.5 で CUDA 12.8 スタックをアップグレード

• 2025 年 4 月の NVIDIA GPU ディスプレイドライバーのセキュリティ情報に記載されている CVEs に対応するために、Nvidia ドライバーをバージョン 570.86.15 から 570.133.20 にアップグレードしました https://nvidia.custhelp.com/app/answers/detail/a_id/5630

• CUDA12.8 スタックを NCCL 2.26.2 で更新

• デフォルトの CUDA を 12.6 から 12.8 に更新

• 2025 年 4 月の NVIDIA GPU ディスプレイドライバーのセキュリティ情報に記載されている CVEs に対応するために、Nvidia ドライバーをバージョン 570.124.06 から 570.133.20 にアップグレードしました https://nvidia.custhelp.com/app/answers/detail/a_id/5630

• カーネルバージョンが 6.1 から 6.12 に更新されました

• 550.144.03 から 570.86.15 までの Nvidia ドライバー

• デフォルトの CUDA が CUDA12.4 から CUDA12.6 に変更されました

• コンパイル済み NCCL バージョン 2.22.3+CUDA12.5 および CuDNN 9.7.1.26 を使用した CUDA12 ディレクトリ

• コンパイル済み NCCL バージョン 2.24.3+CUDA12.6 および CuDNN 9.7.1.26 を使用する CUDA12 ディレクトリ

• コンパイル済み NCCL バージョン 2.25.1+CUDA12.8 および CuDNN 9.7.1.26 を使用する CUDA12 ディレクトリ

• Deep Learning ARM64 Base OSS DLAMI for Amazon Linux 2023 の初回リリース