AWS 深度學習 ARM64 Base GPU AMI (Amazon Linux 2)

• 深度學習 ARM64 基礎 OSS Nvidia 驅動程式 GPU AMI (Amazon Linux 2) ${YYYY-MM-DD}

• G5g

• 支援服務 AWS ：Amazon EC2

• 作業系統：Amazon Linux 2

• 運算架構：ARM64

• Linux 核心：5.10

• NVIDIA 驅動程式：550.144.03

• NVIDIA CUDA12.1、12.2、12.3 堆疊：

  • CUDA、NCCL 和 cuDDN 安裝目錄：

    • 範例：/usr/local/cuda-12.1/ 、/usr/local/cuda-12.1/

  • 編譯的 NCCL 版本：

    • 對於 12.3 的 CUDA 目錄，編譯了 NCCL 2.21.5+CUDA12.4 版

    • 對於 12.1、12.2 的 CUDA 目錄，編譯的 NCCL 版本 .18.5+CUDA12.2

  • 預設 CUDA：12.1

    • PATH /usr/local/cuda 指向 CUDA 12.1

    • 已更新下列 env vars：

      • LD_LIBRARY_PATH 具有 /usr/local/cuda-12.1/lib：/usr/local/cuda-12.1/lib64：/usr/local/cuda-12.1：/usr/local/cuda-12.1/targets/sbsa-linux/lib：/usr/local/cuda-12.1/nvm/lib64：/usr/local/cuda-12.1/extras/CUPTI/lib64

      • 要讓 /usr/local/cuda-12.1/bin/：/usr/local/cuda-12.1/include/ 的 PATH

      • 對於任何不同的 CUDA 版本，請相應地更新 LD_LIBRARY_PATH。

• AWS CLI v2 位於 /usr/local/bin/aws2，AWS CLI v1 位於 /usr/bin/aws

• EBS 磁碟區類型：gp3

• Nvidia 容器工具組：1.16.2

  • 版本命令：nvidia-container-cli -V

• Docker：26.1.2

• Python：/usr/bin/python3.10

• 使用 SSM 參數查詢 AMI-ID （範例區域為 us-east-1)：

  SSM_PARAMETER=base-oss-nvidia-driver-gpu-amazon-linux-2/latest/ami-id \
      aws ssm get-parameter --region us-east-1 \
      --name /aws/service/deeplearning/ami/arm64/$SSM_PARAMETER  \
      --query "Parameter.Value" \
      --output text

• 使用 AWSCLI 查詢 AMI-ID （範例區域為 us-east-1)：

  aws ec2 describe-images --region us-east-1 \
      -owners amazon \
      --filters 'Name=name,Values=Deep Learning ARM64 Base OSS Nvidia Driver GPU AMI (Amazon Linux 2) ????????' 'Name=state,Values=available' \
      --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
      --output text

核心

• 核心版本使用 命令鎖定：

  sudo yum versionlock kernel*

• 我們建議使用者避免更新其核心版本 （除非因為安全性修補程式），以確保與已安裝的驅動程式和套件版本相容。如果使用者仍想要更新，可以執行下列命令來取消鎖定其核心版本：

  sudo yum versionlock delete kernel*
  sudo yum update -y

• 對於每個新版本的 DLAMI，會使用最新的可用相容核心。

• 將 NVIDIA Container Toolkit 從 1.17.3 版更新至 1.17.4 版

  • 如需詳細資訊，請參閱此處的版本備註頁面：https：//https://github.com/NVIDIA/nvidia-container-toolkit/releases/tag/v1.17.4

  • 在 Container Toolkit 1.17.4 版中，CUDA Compat 程式庫的掛載現已停用。為了確保與容器工作流程上的多個 CUDA 版本相容，請確保您更新 LD_LIBRARY_PATH 以包含 CUDA 相容性程式庫，如如果您使用 CUDA 相容性層教學中所示。

• 已移除 NVIDIA CUDA 工具組提供的使用者空間程式庫 cuobj 和 nvdisasm，以解決 2025 年 2 月 18 日 NVIDIA CUDA 工具組安全公告中存在的 CVEs

• 已將 Nvidia 驅動程式從 550.127.05 版升級至 550.144.03，以解決 2025 年 1 月 NVIDIA GPU 顯示驅動程式安全公告中存在的 CVEs

• 已將 Nvidia 驅動程式從 550.90.07 版升級至 550.127.05，以解決 2024 年 10 月 NVIDIA GPU 顯示安全公告中存在的 CVEs

• 已將 Nvidia Container Toolkit 從 1.16.1 版升級至 1.16.2 版，以解決安全性漏洞CVE-2024-0133。

• 將 Nvidia 驅動程式版本從 535.183.01 更新至 535.161.08

• 適用於 Amazon Linux 2 的 Deep Learning ARM64 Base OSS DLAMI 初始版本