AMI 名稱格式支援的 EC2 執行個體 AMI 內容注意發行日期：2025-05-15 發行日期：2025-04-22 發行日期：2025-03-31 發行日期：2025-02-17 發行日期：2025-02-05 發行日期：2025-02-03 發行日期：2025-01-08 發行日期：2024-12-09 發行日期：2024-11-21 版本日期：2024-10-30

AWS Deep Learning Base GPU AMI (Amazon Linux 2023)

如需入門說明，請參閱 DLAMI 入門。

AMI 名稱格式

深度學習基礎 OSS Nvidia 驅動程式 GPU AMI (Amazon Linux 2023) ${YYYY-MM-DD}

支援的 EC2 執行個體

請參閱 DLAMI 的重要變更
深度學習搭配 OSS Nvidia 驅動程式支援 G4dn, G5, G6, Gr6, G6e, P4d, P4de, P5, P5e, P5en, P6-B200

AMI 包含下列項目：

支援服務 AWS ：Amazon EC2
作業系統：Amazon Linux 2023
運算架構：x86
下列套件已安裝最新的可用版本：
- Linux 核心：6.1
- FSx Lustre
- NVIDIA 全球發行系統
- Docker
- AWS CLI v2 位於 /usr/local/bin/aws2，AWS CLI v1 位於 /usr/bin/aws
- NVIDIA DCGM
- Nvidia 容器工具組：
  - 版本命令：nvidia-container-cli -V
- Nvidia-docker2：
  - 版本命令：nvidia-docker 版本
NVIDIA 驅動程式：570.133.20
NVIDIA CUDA12.4-12.6 和 12.8 堆疊：
- CUDA、NCCL 和 cuDDN 安裝目錄：/usr/local/cuda-xx.x/
  - 範例：/usr/local/cuda-12.8/ 、/usr/local/cuda-12.8/
- 編譯的 NCCL 版本：2.26.5
- 預設 CUDA：12.8
  - PATH /usr/local/cuda 指向 CUDA 12.8
  - 已更新下列 env vars：
    
    LD_LIBRARY_PATH 具有 /usr/local/cuda-12.8/lib：/usr/local/cuda-12.8/lib64：/usr/local/cuda-12.8：/usr/local/cuda-12.4/targets/x86_64-linux/lib
    PATH 讓 /usr/local/cuda-12.8/bin/：/usr/local/cuda-12.8/include/
    對於任何不同的 CUDA 版本，請相應地更新 LD_LIBRARY_PATH。
EFA 安裝程式：1.40.0
Nvidia GDRCopy：2.5
AWS OFI NCCL：1.14.2-aws
- AWS OFI NCCL 現在支援使用單一建置的多個 NCCL 版本
- 安裝路徑：/opt/amazon/ofi-nccl/ 。路徑 /opt/amazon/ofi-nccl/lib 已新增至 LD_LIBRARY_PATH。
AWS CLI v2 位於 /usr/local/bin/aws2，AWS CLI v1 位於 /usr/bin/aws
EBS 磁碟區類型：gp3
Python：/usr/bin/python3.9
NVMe 執行個體存放區位置 (在支援的 EC2 執行個體上）：/opt/dlami/nvme

使用 SSM 參數查詢 AMI-ID （範例區域為 us-east-1)：

OSS Nvidia 驅動程式：


aws ssm get-parameter --region us-east-1 \
    --name /aws/service/deeplearning/ami/x86_64/base-oss-nvidia-driver-gpu-al2023/latest/ami-id \
    --query "Parameter.Value" --output text

使用 AWSCLI 查詢 AMI-ID （範例區域為 us-east-1)：

OSS Nvidia 驅動程式：


aws ec2 describe-images --region us-east-1 \
    --owners amazon \
    --filters 'Name=name,Values=Deep Learning Base OSS Nvidia Driver GPU AMI (Amazon Linux 2023) ????????' 'Name=state,Values=available' \
    --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
    --output text

注意

NVIDIA Container Toolkit 1.17.4

在 Container Toolkit 1.17.4 版中，CUDA Compat 程式庫的掛載現已停用。為了確保與容器工作流程上的多個 CUDA 版本相容，請確保您更新 LD_LIBRARY_PATH 以包含 CUDA 相容性程式庫，如如果您使用 CUDA 相容性層教學中所示。

支援政策

此 AMIs的這些 AMI 元件，例如 CUDA 版本，可能會根據架構支援政策或最佳化深度學習容器的效能，或減少未來版本的 AMI 大小，而不需要事先通知。如果任何支援的架構版本未使用 CUDA 版本，我們會從 AMIs 中移除這些版本。

P6-B200 執行個體

P6-B200 執行個體包含 8 張網路介面卡，可使用下列 AWS CLI 命令啟動：


aws ec2 run-instances --region $REGION \
    --instance-type $INSTANCETYPE \
    --image-id $AMI --key-name $KEYNAME \
    --iam-instance-profile "Name=dlami-builder" \
    --tag-specifications "ResourceType=instance,Tags=[{Key=Name,Value=$TAG}]" \
    --network-interfaces "NetworkCardIndex=0,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=1,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=2,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=3,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=4,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=5,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=6,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=7,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa"

P5en 執行個體

P5en 執行個體包含 16 張網路介面卡，可使用下列 AWS CLI 命令啟動：


aws ec2 run-instances --region $REGION \
    --instance-type $INSTANCETYPE \
    --image-id $AMI --key-name $KEYNAME \
    --iam-instance-profile "Name=dlami-builder" \
    --tag-specifications "ResourceType=instance,Tags=[{Key=Name,Value=$TAG}]" \
    --network-interfaces "NetworkCardIndex=0,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=1,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=2,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=3,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=4,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      ...
      "NetworkCardIndex=15,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa"

P5/P5e 執行個體

P5 和 P5e 執行個體包含 32 張網路介面卡，可使用下列 AWS CLI 命令啟動：


aws ec2 run-instances --region $REGION \
    --instance-type $INSTANCETYPE \
    --image-id $AMI --key-name $KEYNAME \
    --iam-instance-profile "Name=dlami-builder" \
    --tag-specifications "ResourceType=instance,Tags=[{Key=Name,Value=$TAG}]" \
    --network-interfaces "NetworkCardIndex=0,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=1,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=2,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=3,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=4,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      ...
      "NetworkCardIndex=31,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa"

核心

核心版本使用命令鎖定：
```
sudo dnf versionlock kernel*
```
我們建議使用者避免更新其核心版本（除非因為安全性修補程式），以確保與已安裝的驅動程式和套件版本相容。如果使用者仍想要更新，他們可以執行下列命令來取消鎖定核心版本：
```
sudo dnf versionlock delete kernel*
sudo dnf update -y
```
對於每個新版本的 DLAMI，會使用最新的可用相容核心。

發行日期：2025-05-15

AMI 名稱：深度學習基礎 OSS Nvidia 驅動程式 GPU AMI (Amazon Linux 2023) 20250515

已新增

新增對 P6-B200 EC2 執行個體的支援

Updated

已將 EFA 安裝程式從 1.38.1 版升級至 1.40.0 版
已將 GDRCopy 從 2.4 版升級至 2.5 版
已將 AWS OFI NCCL 外掛程式從 1.13.0-aws 版升級至 1.14.2-aws
已將編譯的 NCCL 版本從 2.25.1 版更新至 2.26.5 版
將預設 CUDA 版本從 12.6 版更新至 12.8 版
將 Nvidia DCGM 版本從 3.3.9 更新至 4.4.3

發行日期：2025-04-22

AMI 名稱：深度學習基礎 OSS Nvidia 驅動程式 GPU AMI (Amazon Linux 2023) 20250421

Updated

已將 Nvidia 驅動程式從 570.124.06 版升級至 570.133.20，以解決 2025 年 4 月 NVIDIA GPU 顯示驅動程式安全公告中存在的 CVEs

發行日期：2025-03-31

AMI 名稱：深度學習基礎 OSS Nvidia 驅動程式 GPU AMI (Amazon Linux 2023) 20250328

已新增

新增對 NVIDIA GPU Direct Storage (GDS) 的支援

發行日期：2025-02-17

AMI 名稱：深度學習基礎 OSS Nvidia 驅動程式 GPU AMI (Amazon Linux 2023) 20250215

Updated

將 NVIDIA Container Toolkit 從 1.17.3 版更新至 1.17.4 版
- 如需詳細資訊，請參閱此處的版本備註頁面：https：//https://github.com/NVIDIA/nvidia-container-toolkit/releases/tag/v1.17.4
- 在 Container Toolkit 1.17.4 版中，CUDA Compat 程式庫的掛載現已停用。為了確保與容器工作流程上的多個 CUDA 版本相容，請確保您更新 LD_LIBRARY_PATH 以包含 CUDA 相容性程式庫，如如果您使用 CUDA 相容性層教學中所示。

已移除

已移除 NVIDIA CUDA 工具組提供的使用者空間程式庫 cuobj 和 nvdisasm，以解決 2025 年 2 月 18 日 NVIDIA CUDA 工具組安全公告中存在的 CVEs

發行日期：2025-02-05

AMI 名稱：深度學習基礎 OSS Nvidia 驅動程式 GPU AMI (Amazon Linux 2023) 20250205

已新增

在目錄 /usr/local/cuda-12.6 中新增 CUDA 工具組 12.6 版
新增對 G5 EC2 執行個體的支援

已移除

CUDA 12.1 和 12.2 版已從此 DLAMI 中移除。需要這些 CUDA 工具組版本的客戶可以使用以下連結直接從 NVIDIA 安裝它們
- https://developer.nvidia.com/cuda-toolkit-archive

發行日期：2025-02-03

AMI 名稱：深度學習基礎 OSS Nvidia 驅動程式 GPU AMI (Amazon Linux 2023) 20250131

Updated

已將 EFA 版本從 1.37.0 升級至 1.38.0
- EFA 現在綁定 AWS OFI NCCL 外掛程式，現在可在 /opt/amazon/ofi-nccl 中找到，而不是原始 /opt/aws-ofi-nccl/。如果更新您的 LD_LIBRARY_PATH 變數，請確保您正確修改 OFI NCCL 位置。
已將 Nvidia Container Toolkit 從 1.17.3 升級至 1.17.4

發行日期：2025-01-08

AMI 名稱：深度學習基礎 OSS Nvidia 驅動程式 GPU AMI (Amazon Linux 2023) 20250107

Updated

新增對 G4dn 執行個體的支援

發行日期：2024-12-09

AMI 名稱：深度學習基礎 OSS Nvidia 驅動程式 GPU AMI (Amazon Linux 2023) 20241206

Updated

已將 Nvidia Container Toolkit 從 1.17.0 版升級至 1.17.3 版

發行日期：2024-11-21

AMI 名稱：深度學習基礎 OSS Nvidia 驅動程式 GPU AMI (Amazon Linux 2023) 20241121

已新增

新增對 P5en EC2 執行個體的支援。

Updated

已將 EFA 安裝程式從 1.35.0 版升級至 1.37.0 版
將 AWS OFI NCCL 外掛程式從 1.121-aws 版升級至 1.13.0-aws

版本日期：2024-10-30

AMI 名稱：深度學習基礎 OSS Nvidia 驅動程式 GPU AMI (Amazon Linux 2023) 20241030

已新增

適用於 Amazon Linux 2023 的深度學習基礎 OSS DLAMI 初始版本

已知問題

此 DLAMI 目前不支援 G4dn 和 G5 EC2 執行個體。 AWS 注意到可能導致 CUDA 初始化失敗的不相容，當使用開放原始碼 NVIDIA 驅動程式搭配 Linux 核心 6.1 版或更新版本時，這會影響 G4dn 和 G5 執行個體系列。此問題會影響 Linux 發行版本，例如 Amazon Linux 2023、Ubuntu 22.04 或更新版本，或 SUSE Linux Enterprise Server 15 SP6 或更新版本等。

您的瀏覽器已停用或無法使用 Javascript。

您必須啟用 Javascript，才能使用 AWS 文件。請參閱您的瀏覽器說明頁以取得說明。

文件慣用形式

X86

Base GPU AMI (Ubuntu 24.04)