AWS Deep Learning ARM64 Base GPU AMI (Ubuntu 22.04)

• Deep Learning ARM64 Base OSS Nvidia ドライバー GPU AMI (Ubuntu 22.04) ${YYYY-MM-DD}

• G5g

• サポートされている AWS サービス: Amazon EC2

• オペレーティングシステム: Ubuntu 22.04

• コンピューティングアーキテクチャ: ARM64

• Linux カーネル: 6.8.0-1027-aws

• NVIDIA ドライバー: 570.133.20

• NVIDIA CUDA 12.4、12.5、12.6、12.8 スタック：

  • CUDA、NCCL、および cuDDN インストールディレクトリ： /usr/local/cuda-xx.x/

    • 例: /usr/local/cuda-12.8/ 、/usr/local/cuda-12.8/

  • コンパイルされた NCCL バージョン：

    • 12.4 の CUDA ディレクトリの場合、コンパイルされた NCCL バージョン 2.22.3+CUDA12.4

    • 12.5 の CUDA ディレクトリの場合、コンパイルされた NCCL バージョン 2.22.3+CUDA12.5

    • 12.6 の CUDA ディレクトリの場合、コンパイルされた NCCL バージョン 2.24.3+CUDA12.6

    • 12.8 の CUDA ディレクトリの場合、コンパイルされた NCCL バージョン 2.26.2+CUDA12.8

  • デフォルトの CUDA: 12.8

    • PATH /usr/local/cuda が CUDA 12.8 を指す

    • 以下の env vars を更新しました。

      • LD_LIBRARY_PATH に /usr/local/cuda-12.8/lib:/usr/local/cuda-12.8/lib64:/usr/local/cuda-12.8:/usr/local/cuda-12.8/targets/sbsa-linux/lib:/usr/local/cuda-12.8/nvm/lib64:/usr/local/cuda-12.8/extras/CUPTI/lib64 を使用する

      • /usr/local/cuda-12.8/bin/:/usr/local/cuda-12.8/include/ を持つ PATH

      • 別の CUDA バージョンの場合は、それに応じて LD_LIBRARY_PATH を更新してください。

• AWS CLI /usr/local/bin/aws2 の v2 と /usr/bin/aws の AWS CLI v1

• EBS ボリュームタイプ: gp3

• Nvidia コンテナツールキット: 1.17.4

  • バージョンコマンド: nvidia-container-cli -V

• NVIDIA DCGM: 3.3

  • バージョンコマンド dcgmi -v

• Docker: 26.1.2

• Python: /usr/bin/python3.10

• SSM パラメータを使用して AMI-ID をクエリする (リージョンの例は us-east-1):

  aws ssm get-parameter --region us-east-1 \
      --name/aws/service/deeplearning/ami/arm64/base-oss-nvidia-driver-gpu-ubuntu-22.04/latest/ami-id  \
      --query "Parameter.Value" \
      --output text

• AWSCLI で AMI-ID をクエリする (リージョンの例は us-east-1)。

  aws ec2 describe-images --region us-east-1 \
      --owners amazon --filters 'Name=name,Values=Deep Learning ARM64 Base OSS Nvidia Driver GPU AMI (Ubuntu 22.04) ????????' 'Name=state,Values=available' \
      --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
      --output text

マルチ ENI サポート

• Ubuntu 22.04 は、初期起動時に cloud-init を介して複数の NICs でソースルーティングを自動的にセットアップおよび設定します。インスタンスの停止中にワークフローに ENI のアタッチ/デタッチが含まれている場合は、これらのイベント中に NIC の適切な設定を確保するために、cloud-init ユーザーデータに追加の設定を追加する必要があります。クラウド設定の例を以下に示します。

• インスタンスのクラウド設定の設定方法の詳細については、こちらの正規ドキュメントを参照してください - https://documentation.ubuntu.com/aws/en/latest/aws-how-to/instances/automatically-setup-multiple-nics/

カーネル

• カーネルバージョンは コマンドを使用して固定されます。

  echo linux-aws hold | sudo dpkg —set-selections
  echo linux-headers-aws hold | sudo dpkg —set-selections
  echo linux-image-aws hold | sudo dpkg —set-selections

• インストールされたドライバーとパッケージバージョンとの互換性を確保するために、カーネルバージョンを更新しないことをお勧めします (セキュリティパッチによる場合を除く）。ユーザーが引き続き更新する場合は、次のコマンドを実行してカーネルバージョンのピン留めを解除できます。

  echo linux-aws install | sudo dpkg -set-selections
  echo linux-headers-aws install | sudo dpkg -set-selections
  echo linux-image-aws install | sudo dpkg -set-selections

• DLAMI の新しいバージョンごとに、利用可能な最新の互換性のあるカーネルが使用されます。

• 2025 年 4 月の NVIDIA GPU ディスプレイドライバーのセキュリティ情報に記載されている CVE に対応するために、Nvidia ドライバーをバージョン 570.86.15 から 570.133.20 にアップグレードしました。

• CUDA 12.8 スタックを NCCL 2.26.2 で更新

• デフォルトの CUDA を 12.6 から 12.8 に更新

• CUDA 12.3 を削除

• 550.144.03 から 570.86.15 までの Nvidia ドライバー

• デフォルトの CUDA が CUDA12.1 から CUDA12.6 に変更されました

• コンパイル済み NCCL バージョン 2.22.3+CUDA12.4 および CuDNN 9.7.1.26 を使用した CUDA12 ディレクトリ

• コンパイル済み NCCL バージョン 2.22.3+CUDA12.5 および CuDNN 9.7.1.26 を使用する 1CUDA12 ディレクトリ

• コンパイル済み NCCL バージョン 2.24.3+CUDA12.6 および CuDNN 9.7.1.26 を使用する CUDA12 ディレクトリ

• コンパイル済み NCCL バージョン 2.25.1+CUDA12.8 および CuDNN 9.7.1.26 を使用した CUDA12 ディレクトリ

• 12.1 および 12.2 の CUDA ディレクトリ

• NVIDIA Container Toolkit をバージョン 1.17.3 からバージョン 1.17.4 に更新しました

  • 詳細については、「。https://github.com/NVIDIA/nvidia-container-toolkit/releases/tag/v1.17.4

  • Container Toolkit バージョン 1.17.4 では、CUDA 互換ライブラリのマウントが無効になりました。コンテナワークフローで複数の CUDA バージョンとの互換性を確保するには、「CUDA 互換レイヤーを使用する場合」チュートリアルに示すように、LD_LIBRARY_PATH を更新して CUDA 互換ライブラリを含めるようにしてください。

• NVIDIA CUDA ツールキットが提供するユーザースペースライブラリ cuobj と nvdisasm を削除し、2025 年 2 月 18 日の NVIDIA CUDA Toolkit Security Bulletin にある CVEs に対応しました。

• 2025 年 1 月の NVIDIA GPU ディスプレイドライバーのセキュリティ情報に記載されている CVEs に対応するために、Nvidia ドライバーをバージョン 550.127.05 から 550.144.03 にアップグレードしましたhttps://nvidia.custhelp.com/app/answers/detail/a_id/5614

• 2024 年 550.90.070 月の NVIDIA GPU ディスプレイセキュリティ情報に記載されている CVEs に対応するために、Nvidia ドライバーをバージョン から 550.127.05 にアップグレードしましたhttps://nvidia.custhelp.com/app/answers/detail/a_id/5586

• Nvidia ドライバーのバージョンを 535.183.01 から 535.161.08 に更新

• Deep Learning ARM64 Base OSS DLAMI for Ubuntu 22.04 の初回リリース