AWS Deep Learning ARM64 Base GPU AMI (Ubuntu 22.04)

• 深度學習 ARM64 基礎 OSS Nvidia 驅動程式 GPU AMI (Ubuntu 22.04) ${YYYY-MM-DD}

• G5g, P6e-GB200 (P6e-GB200 支援CUDA>=12.8)

• 支援服務 AWS ：Amazon EC2

• 作業系統：Ubuntu 22.04

• 運算架構：ARM64

• 下列套件已安裝最新的可用版本：

  • Linux 核心：6.8

  • FSx Lustre

  • Docker

  • AWS CLI v2 於 /usr/bin/aws

  • NVIDIA DCGM

  • Nvidia 容器工具組：

    • 版本命令：nvidia-container-cli -V

  • Nvidia-docker2：

    • 版本命令：nvidia-docker 版本

• NVIDIA 驅動程式：570.158.01

• NVIDIA CUDA 12.4、12.5、12.6、12.8 堆疊：

  • CUDA、NCCL 和 cuDDN 安裝目錄：/usr/local/cuda-xx.x/

    • 範例：/usr/local/cuda-12.8/ 、/usr/local/cuda-12.8/

  • 編譯的 NCCL 版本：

    • 對於 CUDA 目錄 12.4，編譯的 NCCL 2.22.3+CUDA12.4 版

    • 對於 CUDA 目錄 12.5，編譯的 NCCL 2.22.3+CUDA12.5 版

    • 對於 CUDA 目錄 12.6，編譯的 NCCL 2.24.3+CUDA12.6 版

    • 對於 12.8 的 CUDA 目錄，編譯了 NCCL 2.27.5+CUDA12.8 版

  • 預設 CUDA：12.8

    • PATH /usr/local/cuda 指向 CUDA 12.8

    • 已更新下列 env vars：

      • LD_LIBRARY_PATH 具有 /usr/local/cuda-12.8/lib：/usr/local/cuda-12.8/lib64：/usr/local/cuda-12.8：/usr/local/cuda-12.8/targets/sbsa-linux/lib：/usr/local/cuda-12.8/nvm/lib64：/usr/local/cuda-12.8/extras/CUPTI/lib64

      • PATH 讓 /usr/local/cuda-12.8/bin/：/usr/local/cuda-12.8/include/

      • 對於任何不同的 CUDA 版本，請相應地更新 LD_LIBRARY_PATH。

• EFA 安裝程式：1.42.0

• Nvidia GDRCopy：2.5.1

• AWS OFI NCCL 外掛程式隨附 EFA 安裝程式

  • 路徑 /opt/amazon/ofi-nccl/lib 和 /opt/amazon/ofi-nccl/efa 會新增至 LD_LIBRARY_PATH。

• AWS CLI v2 位於 /usr/local/bin/aws2，AWS CLI v1 位於 /usr/bin/aws

• EBS 磁碟區類型：gp3

• Python：/usr/bin/python3.10

• 使用 SSM 參數查詢 AMI-ID （範例區域為 us-east-1)：

  SSM_PARAMETER=base-oss-nvidia-driver-gpu-ubuntu-22.04/latest/ami-id \
      aws ssm get-parameter --region us-east-1 \
      --name /aws/service/deeplearning/ami/arm64/$SSM_PARAMETER  \
      --query "Parameter.Value" \
      --output text

• 使用 AWSCLI 查詢 AMI-ID （範例區域為 us-east-1)：

  aws ec2 describe-images --region us-east-1 \
      --owners amazon --filters 'Name=name,Values=Deep Learning ARM64 Base OSS Nvidia Driver GPU AMI (Ubuntu 22.04) ????????' 'Name=state,Values=available' \
      --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
      --output text

多 ENI 支援

• Ubuntu 22.04 會在初始開機時，透過 cloud-init 在多個 NICs 上自動設定來源路由。如果您的工作流程包括在執行個體停止時連接/刪除 ENI，則必須將額外的組態新增至 cloud-init 使用者資料，以確保在這些事件期間 NIC 的適當組態。以下是雲端組態的範例。

• 如需如何為執行個體設定雲端組態的詳細資訊，請參閱此正式文件 - https://documentation.ubuntu.com/aws/en/latest/aws-how-to/instances/automatically-setup-multiple-nics/：//

核心

• 核心版本使用 命令鎖定：

  echo linux-aws hold | sudo dpkg —set-selections
  echo linux-headers-aws hold | sudo dpkg —set-selections
  echo linux-image-aws hold | sudo dpkg —set-selections

• 我們建議使用者避免更新核心版本 （除非因為安全修補程式），以確保與已安裝的驅動程式和套件版本相容。如果使用者仍想要更新，可以執行下列命令來取消鎖定核心版本：

  echo linux-aws install | sudo dpkg -set-selections
  echo linux-headers-aws install | sudo dpkg -set-selections
  echo linux-image-aws install | sudo dpkg -set-selections

• 對於每個新版本的 DLAMI，會使用最新的可用相容核心。

• 新增對 EC2 執行個體 P6e-GB200 的支援。請注意，P6e-GB200 支援 CUDA>=12.8

• 新增 EFA 1.42.0

• 已將 Nvidia 驅動程式從 570.133.20 版升級至 570.158.01

• 使用 NCCL 2.27.5 升級 CUDA 12.8 堆疊

• 已將 Nvidia 驅動程式從 570.86.15 版升級至 570.133.20，以解決 2025 年 4 月 NVIDIA GPU 顯示驅動程式安全公告中存在的 CVE

• 使用 NCCL 2.26.2 更新 CUDA 12.8 堆疊

• 將預設 CUDA 從 12.6 更新為 12.8

• 已移除 CUDA 12.3

• 從 550.144.03 到 570.86.15 Nvidia 驅動程式

• 預設 CUDA 已從 CUDA12.1 變更為 CUDA12.6

• CUDA 目錄 12.4 搭配編譯的 NCCL 版本 2.22.3+CUDA12.4 和 CuDNN 9.7.1.26

• CUDA 目錄 12.5 搭配編譯的 NCCL 版本 2.22.3+CUDA12.5 和 CuDNN 9.7.1.26

• CUDA 目錄 12.6 搭配編譯的 NCCL 2.24.3+CUDA12.6 版和 CuDNN 9.7.1.26

• CUDA 目錄 12.8 搭配編譯的 NCCL 版本 2.25.1+CUDA12.8 和 CuDNN 9.7.1.26

• CUDA 目錄為 12.1 和 12.2

• 將 NVIDIA Container Toolkit 從 1.17.3 版更新至 1.17.4 版

  • 如需詳細資訊，請參閱此處的版本備註頁面：https：//https://github.com/NVIDIA/nvidia-container-toolkit/releases/tag/v1.17.4

  • 在 Container Toolkit 1.17.4 版中，CUDA Compat 程式庫的掛載現已停用。為了確保與容器工作流程上的多個 CUDA 版本相容，請確保您更新 LD_LIBRARY_PATH 以包含 CUDA 相容性程式庫，如如果您使用 CUDA 相容性層教學中所示。

• 已移除 NVIDIA CUDA 工具組提供的使用者空間程式庫 cuobj 和 nvdisasm，以解決 2025 年 2 月 18 日 NVIDIA CUDA 工具組安全公告中存在的 CVEs

• 已將 Nvidia 驅動程式從 550.127.05 版升級至 550.144.03，以解決 2025 年 1 月 NVIDIA GPU 顯示驅動程式安全公告中存在的 CVEs

• 已將 Nvidia 驅動程式從 550.90.07 版升級至 550.127.05，以解決 2024 年 10 月 NVIDIA GPU 顯示安全公告中存在的 CVEs

• 將 Nvidia 驅動程式版本從 535.183.01 更新至 535.161.08

• 適用於 Ubuntu 22.04 的 Deep Learning ARM64 Base OSS DLAMI 初始版本