本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
AWS Deep Learning ARM64 Base GPU AMI (Ubuntu 22.04)
如需入門說明,請參閱 DLAMI 入門。
AMI 名稱格式
深度學習 ARM64 基礎 OSS Nvidia 驅動程式 GPU AMI (Ubuntu 22.04) ${YYYY-MM-DD}
支援的 EC2 執行個體
G5g, P6e-GB200 (P6e-GB200 支援CUDA>=12.8)
AMI 包含下列項目:
支援服務 AWS :Amazon EC2
作業系統:Ubuntu 22.04
運算架構:ARM64
下列套件已安裝最新的可用版本:
Linux 核心:6.8
FSx Lustre
Docker
AWS CLI v2 於 /usr/bin/aws
NVIDIA DCGM
Nvidia 容器工具組:
版本命令:nvidia-container-cli -V
Nvidia-docker2:
版本命令:nvidia-docker 版本
NVIDIA 驅動程式:570.158.01
NVIDIA CUDA 12.4、12.5、12.6、12.8 堆疊:
CUDA、NCCL 和 cuDDN 安裝目錄:/usr/local/cuda-xx.x/
範例:/usr/local/cuda-12.8/ 、/usr/local/cuda-12.8/
編譯的 NCCL 版本:
對於 CUDA 目錄 12.4,編譯的 NCCL 2.22.3+CUDA12.4 版
對於 CUDA 目錄 12.5,編譯的 NCCL 2.22.3+CUDA12.5 版
對於 CUDA 目錄 12.6,編譯的 NCCL 2.24.3+CUDA12.6 版
對於 12.8 的 CUDA 目錄,編譯了 NCCL 2.27.5+CUDA12.8 版
預設 CUDA:12.8
PATH /usr/local/cuda 指向 CUDA 12.8
已更新下列 env vars:
LD_LIBRARY_PATH 具有 /usr/local/cuda-12.8/lib:/usr/local/cuda-12.8/lib64:/usr/local/cuda-12.8:/usr/local/cuda-12.8/targets/sbsa-linux/lib:/usr/local/cuda-12.8/nvm/lib64:/usr/local/cuda-12.8/extras/CUPTI/lib64
PATH 讓 /usr/local/cuda-12.8/bin/:/usr/local/cuda-12.8/include/
對於任何不同的 CUDA 版本,請相應地更新 LD_LIBRARY_PATH。
EFA 安裝程式:1.42.0
Nvidia GDRCopy:2.5.1
AWS OFI NCCL 外掛程式隨附 EFA 安裝程式
路徑 /opt/amazon/ofi-nccl/lib 和 /opt/amazon/ofi-nccl/efa 會新增至 LD_LIBRARY_PATH。
AWS CLI v2 位於 /usr/local/bin/aws2,AWS CLI v1 位於 /usr/bin/aws
EBS 磁碟區類型:gp3
Python:/usr/bin/python3.10
使用 SSM 參數查詢 AMI-ID (範例區域為 us-east-1):
SSM_PARAMETER=base-oss-nvidia-driver-gpu-ubuntu-22.04/latest/ami-id \ aws ssm get-parameter --region
us-east-1
\ --name /aws/service/deeplearning/ami/arm64/$SSM_PARAMETER \ --query "Parameter.Value" \ --output text使用 AWSCLI 查詢 AMI-ID (範例區域為 us-east-1):
aws ec2 describe-images --region
us-east-1
\ --owners amazon --filters 'Name=name,Values=Deep Learning ARM64 Base OSS Nvidia Driver GPU AMI (Ubuntu 22.04) ????????' 'Name=state,Values=available' \ --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \ --output text
P6e-GB200 執行個體
P6e-GB200 執行個體包含 17 張網路介面卡,可使用下列 AWS CLI 命令啟動:
aws ec2 run-instances --region $REGION \ --instance-type $INSTANCETYPE \ --image-id $AMI --key-name $KEYNAME \ --iam-instance-profile "Name=dlami-builder" \ --tag-specifications "ResourceType=instance,Tags=[{Key=Name,Value=$TAG}]" \ --network-interfaces \ "NetworkCardIndex=0,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=interface" \ "NetworkCardIndex=1,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=2,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=3,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=4,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=5,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=6,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=7,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=8,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=9,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=10,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=11,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=12,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=13,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=14,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=15,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=16,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only"
注意
NVIDIA Container Toolkit 1.17.4
在 Container Toolkit 1.17.4 版中,CUDA Compat 程式庫的掛載現已停用。為了確保與容器工作流程上的多個 CUDA 版本相容,請確保您更新 LD_LIBRARY_PATH 以包含 CUDA 相容性程式庫,如如果您使用 CUDA 相容性層教學中所示。
多 ENI 支援
Ubuntu 22.04 會在初始開機時,透過 cloud-init 在多個 NICs 上自動設定來源路由。如果您的工作流程包括在執行個體停止時連接/刪除 ENI,則必須將額外的組態新增至 cloud-init 使用者資料,以確保在這些事件期間 NIC 的適當組態。以下是雲端組態的範例。
如需如何為執行個體設定雲端組態的詳細資訊,請參閱此正式文件 - https://documentation.ubuntu.com/aws/en/latest/aws-how-to/instances/automatically-setup-multiple-nics/
://
#cloud-config # apply network config on every boot and hotplug event updates: network: when: ['boot', 'hotplug']
支援政策
此 AMIs的這些 AMI 元件,例如 CUDA 版本,可能會根據架構支援政策,或最佳化深度學習容器
核心
核心版本使用 命令鎖定:
echo linux-aws hold | sudo dpkg —set-selections echo linux-headers-aws hold | sudo dpkg —set-selections echo linux-image-aws hold | sudo dpkg —set-selections
我們建議使用者避免更新核心版本 (除非因為安全修補程式),以確保與已安裝的驅動程式和套件版本相容。如果使用者仍想要更新,可以執行下列命令來取消鎖定核心版本:
echo linux-aws install | sudo dpkg -set-selections echo linux-headers-aws install | sudo dpkg -set-selections echo linux-image-aws install | sudo dpkg -set-selections
對於每個新版本的 DLAMI,會使用最新的可用相容核心。
發行日期:2025-07-04
AMI 名稱:深度學習 ARM64 Base OSS Nvidia Driver GPU AMI (Ubuntu 22.04) 20250704
Updated
新增對 EC2 執行個體 P6e-GB200 的支援。請注意,P6e-GB200 支援 CUDA>=12.8
新增 EFA 1.42.0
已將 Nvidia 驅動程式從 570.133.20 版升級至 570.158.01
使用 NCCL 2.27.5 升級 CUDA 12.8 堆疊
發行日期:2025-04-24
AMI 名稱:深度學習 ARM64 Base OSS Nvidia Driver GPU AMI (Ubuntu 22.04) 20250424
Updated
已將 Nvidia 驅動程式從 570.86.15 版升級至 570.133.20,以解決 2025 年 4 月 NVIDIA GPU 顯示驅動程式安全公告
中存在的 CVE 使用 NCCL 2.26.2 更新 CUDA 12.8 堆疊
將預設 CUDA 從 12.6 更新為 12.8
已移除 CUDA 12.3
發行日期:2025-03-03
AMI 名稱:深度學習 ARM64 Base OSS Nvidia Driver GPU AMI (Ubuntu 22.04) 20250303
Updated
從 550.144.03 到 570.86.15 Nvidia 驅動程式
預設 CUDA 已從 CUDA12.1 變更為 CUDA12.6
已新增
CUDA 目錄 12.4 搭配編譯的 NCCL 版本 2.22.3+CUDA12.4 和 CuDNN 9.7.1.26
CUDA 目錄 12.5 搭配編譯的 NCCL 版本 2.22.3+CUDA12.5 和 CuDNN 9.7.1.26
CUDA 目錄 12.6 搭配編譯的 NCCL 2.24.3+CUDA12.6 版和 CuDNN 9.7.1.26
CUDA 目錄 12.8 搭配編譯的 NCCL 版本 2.25.1+CUDA12.8 和 CuDNN 9.7.1.26
已移除
CUDA 目錄為 12.1 和 12.2
發行日期:2025-02-17
AMI 名稱:深度學習 ARM64 Base OSS Nvidia Driver GPU AMI (Ubuntu 22.04) 20250214
Updated
將 NVIDIA Container Toolkit 從 1.17.3 版更新至 1.17.4 版
如需詳細資訊,請參閱此處的版本備註頁面:https://https://github.com/NVIDIA/nvidia-container-toolkit/releases/tag/v1.17.4
在 Container Toolkit 1.17.4 版中,CUDA Compat 程式庫的掛載現已停用。為了確保與容器工作流程上的多個 CUDA 版本相容,請確保您更新 LD_LIBRARY_PATH 以包含 CUDA 相容性程式庫,如如果您使用 CUDA 相容性層教學中所示。
已移除
已移除 NVIDIA CUDA 工具組
提供的使用者空間程式庫 cuobj 和 nvdisasm,以解決 2025 年 2 月 18 日 NVIDIA CUDA 工具組安全公告 中存在的 CVEs
發行日期:2025-01-17
AMI 名稱:深度學習 ARM64 Base OSS Nvidia Driver GPU AMI (Ubuntu 22.04) 20250117
Updated
已將 Nvidia 驅動程式從 550.127.05 版升級至 550.144.03,以解決 2025 年 1 月 NVIDIA GPU 顯示驅動程式安全公告
中存在的 CVEs
發行日期:2024-10-23
AMI 名稱:深度學習 ARM64 Base OSS Nvidia Driver GPU AMI (Ubuntu 22.04) 20241023
Updated
已將 Nvidia 驅動程式從 550.90.07 版升級至 550.127.05,以解決 2024 年 10 月 NVIDIA GPU 顯示安全公告
中存在的 CVEs
發行日期:2024-06-06
AMI 名稱:深度學習 ARM64 Base OSS Nvidia Driver GPU AMI (Ubuntu 22.04) 20240606
Updated
將 Nvidia 驅動程式版本從 535.183.01 更新至 535.161.08
發行日期:2024-05-15
AMI 名稱:深度學習 ARM64 Base OSS Nvidia Driver GPU AMI (Ubuntu 22.04) 20240514
已新增
適用於 Ubuntu 22.04 的 Deep Learning ARM64 Base OSS DLAMI 初始版本