AWS Deep Learning ARM64 Base GPU AMI (Ubuntu 22.04) - AWS 深度學習 AMIs

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

AWS Deep Learning ARM64 Base GPU AMI (Ubuntu 22.04)

如需入門說明,請參閱 DLAMI 入門

AMI 名稱格式

  • 深度學習 ARM64 基礎 OSS Nvidia 驅動程式 GPU AMI (Ubuntu 22.04) ${YYYY-MM-DD}

支援的 EC2 執行個體

  • G5g, P6e-GB200 (P6e-GB200 支援CUDA>=12.8)

AMI 包含下列項目:

  • 支援服務 AWS :Amazon EC2

  • 作業系統:Ubuntu 22.04

  • 運算架構:ARM64

  • 下列套件已安裝最新的可用版本:

    • Linux 核心:6.8

    • FSx Lustre

    • Docker

    • AWS CLI v2 於 /usr/bin/aws

    • NVIDIA DCGM

    • Nvidia 容器工具組

      • 版本命令:nvidia-container-cli -V

    • Nvidia-docker2

      • 版本命令:nvidia-docker 版本

  • NVIDIA 驅動程式:570.158.01

  • NVIDIA CUDA 12.4、12.5、12.6、12.8 堆疊

    • CUDA、NCCL 和 cuDDN 安裝目錄:/usr/local/cuda-xx.x/

      • 範例:/usr/local/cuda-12.8/ 、/usr/local/cuda-12.8/

    • 編譯的 NCCL 版本

      • 對於 CUDA 目錄 12.4,編譯的 NCCL 2.22.3+CUDA12.4 版

      • 對於 CUDA 目錄 12.5,編譯的 NCCL 2.22.3+CUDA12.5 版

      • 對於 CUDA 目錄 12.6,編譯的 NCCL 2.24.3+CUDA12.6 版

      • 對於 12.8 的 CUDA 目錄,編譯了 NCCL 2.27.5+CUDA12.8 版

    • 預設 CUDA:12.8

      • PATH /usr/local/cuda 指向 CUDA 12.8

      • 已更新下列 env vars:

        • LD_LIBRARY_PATH 具有 /usr/local/cuda-12.8/lib:/usr/local/cuda-12.8/lib64:/usr/local/cuda-12.8:/usr/local/cuda-12.8/targets/sbsa-linux/lib:/usr/local/cuda-12.8/nvm/lib64:/usr/local/cuda-12.8/extras/CUPTI/lib64

        • PATH 讓 /usr/local/cuda-12.8/bin/:/usr/local/cuda-12.8/include/

        • 對於任何不同的 CUDA 版本,請相應地更新 LD_LIBRARY_PATH。

  • EFA 安裝程式:1.42.0

  • Nvidia GDRCopy:2.5.1

  • AWS OFI NCCL 外掛程式隨附 EFA 安裝程式

    • 路徑 /opt/amazon/ofi-nccl/lib 和 /opt/amazon/ofi-nccl/efa 會新增至 LD_LIBRARY_PATH。

  • AWS CLI v2 位於 /usr/local/bin/aws2,AWS CLI v1 位於 /usr/bin/aws

  • EBS 磁碟區類型:gp3

  • Python:/usr/bin/python3.10

  • 使用 SSM 參數查詢 AMI-ID (範例區域為 us-east-1):

    SSM_PARAMETER=base-oss-nvidia-driver-gpu-ubuntu-22.04/latest/ami-id \ aws ssm get-parameter --region us-east-1 \ --name /aws/service/deeplearning/ami/arm64/$SSM_PARAMETER \ --query "Parameter.Value" \ --output text
  • 使用 AWSCLI 查詢 AMI-ID (範例區域為 us-east-1):

    aws ec2 describe-images --region us-east-1 \ --owners amazon --filters 'Name=name,Values=Deep Learning ARM64 Base OSS Nvidia Driver GPU AMI (Ubuntu 22.04) ????????' 'Name=state,Values=available' \ --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \ --output text
P6e-GB200 執行個體

P6e-GB200 執行個體包含 17 張網路介面卡,可使用下列 AWS CLI 命令啟動:

aws ec2 run-instances --region $REGION \ --instance-type $INSTANCETYPE \ --image-id $AMI --key-name $KEYNAME \ --iam-instance-profile "Name=dlami-builder" \ --tag-specifications "ResourceType=instance,Tags=[{Key=Name,Value=$TAG}]" \ --network-interfaces \ "NetworkCardIndex=0,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=interface" \ "NetworkCardIndex=1,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=2,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=3,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=4,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=5,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=6,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=7,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=8,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=9,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=10,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=11,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=12,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=13,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=14,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=15,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=16,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only"

注意

NVIDIA Container Toolkit 1.17.4

在 Container Toolkit 1.17.4 版中,CUDA Compat 程式庫的掛載現已停用。為了確保與容器工作流程上的多個 CUDA 版本相容,請確保您更新 LD_LIBRARY_PATH 以包含 CUDA 相容性程式庫,如如果您使用 CUDA 相容性層教學中所示。

多 ENI 支援
  • Ubuntu 22.04 會在初始開機時,透過 cloud-init 在多個 NICs 上自動設定來源路由。如果您的工作流程包括在執行個體停止時連接/刪除 ENI,則必須將額外的組態新增至 cloud-init 使用者資料,以確保在這些事件期間 NIC 的適當組態。以下是雲端組態的範例。

  • 如需如何為執行個體設定雲端組態的詳細資訊,請參閱此正式文件 - https://documentation.ubuntu.com/aws/en/latest/aws-how-to/instances/automatically-setup-multiple-nics/://

#cloud-config # apply network config on every boot and hotplug event updates: network: when: ['boot', 'hotplug']

支援政策

此 AMIs的這些 AMI 元件,例如 CUDA 版本,可能會根據架構支援政策,或最佳化深度學習容器的效能,或減少未來版本的 AMI 大小,而不需要事先通知。如果任何支援的架構版本未使用 CUDA 版本,我們會從 AMIs 中移除 CUDA 版本。

核心
  • 核心版本使用 命令鎖定:

    echo linux-aws hold | sudo dpkg —set-selections echo linux-headers-aws hold | sudo dpkg —set-selections echo linux-image-aws hold | sudo dpkg —set-selections
  • 我們建議使用者避免更新核心版本 (除非因為安全修補程式),以確保與已安裝的驅動程式和套件版本相容。如果使用者仍想要更新,可以執行下列命令來取消鎖定核心版本:

    echo linux-aws install | sudo dpkg -set-selections echo linux-headers-aws install | sudo dpkg -set-selections echo linux-image-aws install | sudo dpkg -set-selections
  • 對於每個新版本的 DLAMI,會使用最新的可用相容核心。

發行日期:2025-07-04

AMI 名稱:深度學習 ARM64 Base OSS Nvidia Driver GPU AMI (Ubuntu 22.04) 20250704

Updated

  • 新增對 EC2 執行個體 P6e-GB200 的支援。請注意,P6e-GB200 支援 CUDA>=12.8

  • 新增 EFA 1.42.0

  • 已將 Nvidia 驅動程式從 570.133.20 版升級至 570.158.01

  • 使用 NCCL 2.27.5 升級 CUDA 12.8 堆疊

發行日期:2025-04-24

AMI 名稱:深度學習 ARM64 Base OSS Nvidia Driver GPU AMI (Ubuntu 22.04) 20250424

Updated

發行日期:2025-03-03

AMI 名稱:深度學習 ARM64 Base OSS Nvidia Driver GPU AMI (Ubuntu 22.04) 20250303

Updated

  • 從 550.144.03 到 570.86.15 Nvidia 驅動程式

  • 預設 CUDA 已從 CUDA12.1 變更為 CUDA12.6

已新增

  • CUDA 目錄 12.4 搭配編譯的 NCCL 版本 2.22.3+CUDA12.4 和 CuDNN 9.7.1.26

  • CUDA 目錄 12.5 搭配編譯的 NCCL 版本 2.22.3+CUDA12.5 和 CuDNN 9.7.1.26

  • CUDA 目錄 12.6 搭配編譯的 NCCL 2.24.3+CUDA12.6 版和 CuDNN 9.7.1.26

  • CUDA 目錄 12.8 搭配編譯的 NCCL 版本 2.25.1+CUDA12.8 和 CuDNN 9.7.1.26

已移除

  • CUDA 目錄為 12.1 和 12.2

發行日期:2025-02-17

AMI 名稱:深度學習 ARM64 Base OSS Nvidia Driver GPU AMI (Ubuntu 22.04) 20250214

Updated

已移除

發行日期:2025-01-17

AMI 名稱:深度學習 ARM64 Base OSS Nvidia Driver GPU AMI (Ubuntu 22.04) 20250117

Updated

發行日期:2024-10-23

AMI 名稱:深度學習 ARM64 Base OSS Nvidia Driver GPU AMI (Ubuntu 22.04) 20241023

Updated

發行日期:2024-06-06

AMI 名稱:深度學習 ARM64 Base OSS Nvidia Driver GPU AMI (Ubuntu 22.04) 20240606

Updated

  • 將 Nvidia 驅動程式版本從 535.183.01 更新至 535.161.08

發行日期:2024-05-15

AMI 名稱:深度學習 ARM64 Base OSS Nvidia Driver GPU AMI (Ubuntu 22.04) 20240514

已新增

  • 適用於 Ubuntu 22.04 的 Deep Learning ARM64 Base OSS DLAMI 初始版本