AWS Deep Learning ARM64 Base GPU AMI (Amazon Linux 2)

• Deep Learning ARM64 Base OSS Nvidia ドライバー GPU AMI (Amazon Linux 2) ${YYYY-MM-DD}

• G5g

• サポートされている AWS サービス: Amazon EC2

• オペレーティングシステム: Amazon Linux 2

• コンピューティングアーキテクチャ: ARM64

• Linux カーネル: 5.10

• NVIDIA ドライバー: 550.144.03

• NVIDIA CUDA12.1、12.2、12.3 スタック：

  • CUDA、NCCL、および cuDDN インストールディレクトリ：

    • 例: /usr/local/cuda-12.1/ 、/usr/local/cuda-12.1/

  • コンパイルされた NCCL バージョン：

    • 12.3 の CUDA ディレクトリの場合、コンパイルされた NCCL バージョン 2.21.5+CUDA12.4

    • 12.1、12.2 の CUDA ディレクトリの場合、コンパイルされた NCCL バージョン .18.5+CUDA12.2

  • デフォルトの CUDA: 12.1

    • PATH /usr/local/cuda が CUDA 12.1 を指す

    • 以下の env vars を更新しました。

      • LD_LIBRARY_PATH に /usr/local/cuda-12.1/lib:/usr/local/cuda-12.1/lib64:/usr/local/cuda-12.1:/usr/local/cuda-12.1/targets/sbsa-linux/lib:/usr/local/cuda-12.1/nvm/lib64:/usr/local/cuda-12.1/extras/CUPTI/lib64 を使用する

      • /usr/local/cuda-12.1/bin/:/usr/local/cuda-12.1/include/ を持つ PATH

      • 別の CUDA バージョンの場合は、それに応じて LD_LIBRARY_PATH を更新してください。

• AWS CLI /usr/local/bin/aws2 の v2 と /usr/bin/aws の AWS CLI v1

• EBS ボリュームタイプ: gp3

• Nvidia コンテナツールキット: 1.16.2

  • バージョンコマンド: nvidia-container-cli -V

• Docker: 26.1.2

• Python: /usr/bin/python3.10

• SSM パラメータを使用して AMI-ID をクエリする (リージョンの例は us-east-1)。

  SSM_PARAMETER=base-oss-nvidia-driver-gpu-amazon-linux-2/latest/ami-id \
      aws ssm get-parameter --region us-east-1 \
      --name /aws/service/deeplearning/ami/arm64/$SSM_PARAMETER  \
      --query "Parameter.Value" \
      --output text

• AWSCLI で AMI-ID をクエリする (リージョンの例は us-east-1):

  aws ec2 describe-images --region us-east-1 \
      -owners amazon \
      --filters 'Name=name,Values=Deep Learning ARM64 Base OSS Nvidia Driver GPU AMI (Amazon Linux 2) ????????' 'Name=state,Values=available' \
      --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
      --output text

カーネル

• カーネルバージョンは コマンドを使用して固定されます。

  sudo yum versionlock kernel*

• インストールされたドライバーとパッケージバージョンとの互換性を確保するために、カーネルバージョンを更新しないことをお勧めします (セキュリティパッチによる場合を除く）。ユーザーが引き続き更新する場合は、次のコマンドを実行してカーネルバージョンのピン留めを解除できます。

  sudo yum versionlock delete kernel*
  sudo yum update -y

• DLAMI の新しいバージョンごとに、利用可能な最新の互換性のあるカーネルが使用されます。

• NVIDIA Container Toolkit をバージョン 1.17.3 からバージョン 1.17.4 に更新しました

  • 詳細については、「https://github.com/NVIDIA/nvidia-container-toolkit/releases/tag/v1.17.4」のリリースノートページを参照してください。

  • Container Toolkit バージョン 1.17.4 では、CUDA 互換ライブラリのマウントが無効になりました。コンテナワークフローで複数の CUDA バージョンとの互換性を確保するには、「If you use a CUDA compatibility layer」チュートリアルに示すように、必ず LD_LIBRARY_PATH を更新して CUDA 互換ライブラリを含めてください。

• NVIDIA CUDA ツールキットが提供するユーザースペースライブラリ cuobj と nvdisasm を削除し、2025 年 2 月 18 日の NVIDIA CUDA Toolkit Security Bulletin にある CVEs に対応しました。

• 2025 年 1 月の NVIDIA GPU ディスプレイドライバーのセキュリティ情報に記載されている CVEs に対応するために、Nvidia ドライバーをバージョン 550.127.05 から 550.144.03 にアップグレードしましたhttps://nvidia.custhelp.com/app/answers/detail/a_id/5614

• 2024 年 550.90.070 月の NVIDIA GPU ディスプレイセキュリティ情報に記載されている CVEs に対応するために、Nvidia ドライバーをバージョン から 550.127.05 にアップグレードしましたhttps://nvidia.custhelp.com/app/answers/detail/a_id/5586

• Nvidia Container Toolkit をバージョン 1.16.1 から 1.16.2 にアップグレードし、セキュリティの脆弱性CVE-2024-0133 に対応しました。

• Nvidia ドライバーのバージョンを 535.183.01 から 535.161.08 に更新

• Deep Learning ARM64 Base OSS DLAMI for Amazon Linux 2 の初回リリース