AWS 深度学习基础 GPU AMI (Ubuntu 22.04)

• 深度学习基础 OSS Nvidia Driver GPU AMI (Ubuntu 22.04) $ {YYYY-MM-DD}

• 请参阅 DLAMI 的重要更改。

• 使用 OSS 进行深度学习 Nvidia Driver 支持 g4dn、G5、G6、Gr6、G6e、p4d、p4de、P5、p5e、P6-B200。

• 支持的 AWS 服务：Amazon EC2

• 操作系统：Ubuntu 22.04

• 计算架构：x86

• 以下软件包已安装最新可用版本：

  • Linux 内核：6. 8

  • FSx 光泽

  • Docker

  • AWS CLI v2 位于/usr/local/bin/aws2 和 AWS CLI v1 位于/usr/bin/aws

  • 英伟达 DCGM

  • 英伟达容器工具包：

    • 版本命令： nvidia-container-cli-V

  • nvidia-docker2：

    • 版本命令：nvidia-docker 版本

• NVIDIA 驱动程序：570.133.20

• NVIDIA CUDA 12.4-12.6 和 12.8 堆栈：

  • C@@ UDA、NCCL 和 cudDN 安装目录：/-xx.x/ usr/local/cuda

    • 示例：/usr/local/cuda-12.8/ , /usr/local/cuda-12.8/

  • 已编译的 NCCL 版本：2.26.5

  • 默认 CUDA：12.8

    • 路径/ usr/local/cuda 指向 CUDA 12.8

    • 在环境变量下方更新：

      • LD_LIBRARY_PATH 要有 /64 usr/local/cuda-12.8/lib:/usr/local/cuda-12.8/lib64:/usr/local/cuda-12.8:/usr/local/cuda-12.8/targets/x86_64-linux/lib:/usr/local/cuda-12.8/extras/CUPTI/lib

      • 拥有路径/usr/local/cuda-12.8/bin/:/usr/local/cuda-12.8/include/

      • 对于任何不同的 CUDA 版本，请相应地更新 LD_LIBRARY_PATH。

• EFA 安装程序：1.40.0

• 英伟达 GDRCopy：2.5

• AWS OFI NCC L：1.14.2-aws

  • 安装路径：/已添加到 LD_L opt/amazon/ofi-nccl/ . Path /opt/amazon/ofi-nccl/lib IBRARY_PATH。

• AWS CLI v2 位于/usr/local/bin/aws2 和 AWS CLI v1 位于/usr/bin/aws

• EBS 卷类型：gp3

• Python：/usr/bin/python3.10

• NVMe 实例存储位置（在支持的 EC2 实例上）：/opt/dlami/nvme

• 使用 SSM 参数查询 AMI-ID（示例区域为 us-east-1）：

  • OSS 英伟达驱动程序：

    aws ssm get-parameter --region us-east-1 \
        --name /aws/service/deeplearning/ami/x86_64/base-oss-nvidia-driver-gpu-ubuntu-22.04/latest/ami-id \
        --query "Parameter.Value" \
        --output text

• 使用以下方式查询 AMI-ID AWSCLI （示例区域为 us-east-1）：

  • OSS 英伟达驱动程序：

    aws ec2 describe-images --region us-east-1 \
          --owners amazon \
          --filters 'Name=name,Values=Deep Learning Base OSS Nvidia Driver GPU AMI (Ubuntu 22.04) ????????' 'Name=state,Values=available' \
          --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
          --output text

支持多 ENI

• Ubuntu 22.04 在初始启动时 NICss 使用 cloud-init 自动设置和配置多个源路由。如果您的工作流程包括 attaching/detaching 实例停止期间的， ENIs 则必须向 cloud-init 用户数据中添加其他配置，以确保在这些事件期间正确配置 NIC。下面提供了云配置的示例。

• 有关如何为您的实例配置云配置的更多信息，请参阅此处的 Canonical 文档--/https://documentation.ubuntu.com/aws/en/latest/aws-how-to/instances/automaticallysetup-multiple-nics

EC2 带有多个网卡的实例

• 许多支持 EFA 的实例类型也有多个网卡。

• DeviceIndex 对于每个网卡来说都是唯一的，并且必须是小于 ENIs p NetworkCard er 限制的非负整数。在 P5 上，p ENIs er 的数量 NetworkCard 为 2，这意味着的唯一有效值 DeviceIndex 是 0 或 1。

  • 对于主网络接口（网卡索引 0，设备索引 0），创建 EFA（带有 ENA 的 EFA）接口。您不能使用仅限 EFA 的网络接口作为主网络接口。

  • 对于每个额外的网络接口，请使用下一个未使用的网卡索引，即设备索引 1，以及 EFA（带有 ENA 的 EFA）或仅限 EFA 的网络接口，具体取决于您的用例，例如 ENA 带宽要求或 IP 地址空间。有关用例示例，请参阅 P5 实例的 EFA 配置。

  • 有关更多信息，请参阅此处的 EFA 指南。

内核

• 使用以下命令固定内核版本：

  echo linux-aws hold | sudo dpkg —set-selections
  echo linux-headers-aws hold | sudo dpkg —set-selections
  echo linux-image-aws hold | sudo dpkg —set-selections

• 我们建议用户避免更新其内核版本（除非有安全补丁），以确保与已安装的驱动程序和软件包版本兼容。如果用户仍希望更新，他们可以运行以下命令来取消固定其内核版本：

  echo linux-aws install | sudo dpkg -set-selections
  echo linux-headers-aws install | sudo dpkg -set-selections
  echo linux-image-aws install | sudo dpkg -set-selections

• 对于每个新版本的 DLAMI，都使用最新可用的兼容内核。

• 增加了对 P6-B200 EC2 实例的支持

• 将 EFA 安装程序从版本 1.39.0 升级到 1.40.0

• 将 AWS OFI NCCL 插件从 1.13.0-aws 版本升级到 1.14.2-aws

• 将编译后的 NCCL 版本从 2.22.3 版本更新为 2.26.5

• 将默认 CUDA 版本从版本 12.6 更新为 12.8

• 将 Nvidia DCGM 版本从 3.3.9 更新到 4.4.3

• GDRCopy 从 2.4.1 升级到 2.5.1

• 将 Nvidia 驱动程序从 570.124.06 版本升级到 570.133.20，以解决 2025 年 4 月 NVIDIA G PU CVEs 显示驱动程序安全公告中提到的问题

• 将 NVIDIA 容器工具包从版本 1.17.3 更新到 1.17.4 版

  • 有关更多信息，请参阅此处的发行说明页面：https://github.com/NVIDIA/nvidia-container-toolkit/releases/tag/v1.17. 4

  • 在容器工具包版本 1.17.4 中，现已禁用 CUDA 兼容库的挂载。为了确保与容器工作流程中的多个 CUDA 版本兼容，请确保更新 LD_LIBRARY_PATH 以包含您的 CUDA 兼容性库，如如果您使用 CUDA 兼容层教程中所示。

• 删除了 NV IDIA CUDA 工具包提供的用户空间库 cuobj 和 nvd isasm，以解决在 2025 年 2 月 18 日的 NVIDIA CUDA 工具包安全公告中 CVEs 出现的问题

• 在目录中添加了 CUDA 工具包 12.6 版本 /-12.6 usr/local/cuda

• CUDA 版本 12.1 和 12.2 已从此 DLAMI 中删除。客户可以使用以下链接从 NVIDIA 安装这些版本

  • https://developer.nvidia.com/cuda-toolkit-archive

• 将 EFA 版本从 1.37.0 升级到 1.38.0

  • EFA 现在捆绑了 AWS OFI NCCL 插件，该插件现在可以在 /-ofi-nccl/ 中找到。opt/amazon/ofi-nccl rather than the original /opt/aws如果要更新 LD_LIBRARY_PATH 变量，请确保正确修改 OFI NCCL 位置。

• 将 Nvidia 容器工具包从 1.17.3 升级到 1.17.4

• 将 Nvidia 驱动程序从 550.127.05 版升级到 550.144.03 版，以解决 2025 年 1 月 NVIDIA G PU CVEs 显示驱动程序安全公告中提到的问题

• 添加了 Amazon FSx 套餐对 Lustre 的支持。

• 由于 Ubuntu 内核为解决内核地址空间布局随机化 (KASLR) 功能中的缺陷而进行了更改，G4Dn/G5 实例无法在 OSS Nvidia 驱动程序上正确初始化 CUDA。为了缓解此问题，此 DLAMI 包含动态加载 G4Dn 和 G5 实例专有驱动程序的功能。请留出一段短暂的初始化时间进行此加载，以确保您的实例能够正常运行。

  要检查此服务的状态和运行状况，可以使用以下命令：

• 将 Nvidia 驱动程序从 550.90.07 版本升级到 550.127.05，以解决 2024 年 10 月 NVIDIA GPU CVEs 显示屏安全公告中提到的问题

• 将 Nvidia 驱动程序和 Fabric Manager 从 535.183.01 版本升级到 550.90.07

• 将 Nvidia 容器工具包从版本 1.16.1 升级到 1.16.2，解决了安全漏洞 CVE-2024-0133。

• 将 EFA 版本从 1.32.0 升级到 1.34.0

• 已将所有 CUDA 版本的 NCCL 升级到最新版本 2.22.3

  • CUDA 12.1、12.2 从 2.18.5+ 升级 .2 CUDA12

  • CUDA 12.3 从 2.21.5+ 版本升级 .4 CUDA12

• 在目录/-12.4 中添加了 CUDA 工具包版本 12.4 usr/local/cuda

• 增加了对 P5e 实例 EC2 的支持。

• 增加了对 G6e 实例 EC2 的支持。

• 将 Nvidia 驱动程序版本从 535.161.08 更新到 535.183.01

• 由于与最新 FSx 的 Ubuntu 22.04 内核版本不兼容，本版本中删除了对 Amazon for Lustre 的支持。支持 FSx 最新内核版本后，将恢复对 Lustre 的支持。需要 Lustre FSx 的客户应继续使用深度学习基础 GPU AMI（Ubuntu 20.04）。

• 适用于 Ubuntu 的深度学习基础 OSS DLAMI 的首次发布 22.04