AWS 深度学习 ARM64 基础 GPU AMI (Ubuntu 22.04)

• 深度学习 ARM64 基础 OSS Nvidia Driver GPU AMI (Ubuntu 22.04) $ {YYYY-MM-DD}

• G5g

• 支持的 AWS 服务：Amazon EC2

• 操作系统：Ubuntu 22.04

• 计算架构： ARM64

• Linux 内核：6.8.0-1027-aws

• NVIDIA 驱动程序：570.133.20

• NVIDIA CUDA 12.4、12.5、12.6、12.8 堆栈：

  • C@@ UDA、NCCL 和 cudDN 安装目录：/-xx.x/ usr/local/cuda

    • 示例：/usr/local/cuda-12.8/ , /usr/local/cuda-12.8/

  • 已编译的 NCCL 版本：

    • 对于 12.4 的 CUDA 目录，编译了 NCCL 版本 2.22.3+ .4 CUDA12

    • 对于 12.5 的 CUDA 目录，编译了 NCCL 版本 2.22.3+ .5 CUDA12

    • 对于 12.6 的 CUDA 目录，编译了 NCCL 版本 2.24.3+ .6 CUDA12

    • 对于 12.8 的 CUDA 目录，编译了 NCCL 版本 2.26.2+ .8 CUDA12

  • 默认 CUDA：12.8

    • 路径/ usr/local/cuda 指向 CUDA 12.8

    • 在环境变量下方更新：

      • LD_LIBRARY_PATH 要有 /64 usr/local/cuda-12.8/lib:/usr/local/cuda-12.8/lib64:/usr/local/cuda-12.8:/usr/local/cuda-12.8/targets/sbsa-linux/lib:/usr/local/cuda-12.8/nvvm/lib64:/usr/local/cuda-12.8/extras/CUPTI/lib

      • 要拥有的路径/usr/local/cuda-12.8/bin/:/usr/local/cuda-12.8/include/

      • 对于任何不同的 CUDA 版本，请相应地更新 LD_LIBRARY_PATH。

• AWS CLI v2 位于/usr/local/bin/aws2 和 AWS CLI v1 位于/usr/bin/aws

• EBS 卷类型：gp3

• Nvidia 容器工具包：1.17.4

  • 版本命令： nvidia-container-cli-V

• 英伟达 DCGM：3.3

  • 版本命令 dcgmi-v

• Docker：26.1.2

• Python：/usr/bin/python3.10

• 使用 SSM 参数查询 AMI-ID（示例区域为 us-east-1）：

  aws ssm get-parameter --region us-east-1 \
      --name/aws/service/deeplearning/ami/arm64/base-oss-nvidia-driver-gpu-ubuntu-22.04/latest/ami-id  \
      --query "Parameter.Value" \
      --output text

• 使用以下方式查询 AMI-ID AWSCLI （示例区域为 us-east-1）：

  aws ec2 describe-images --region us-east-1 \
      --owners amazon --filters 'Name=name,Values=Deep Learning ARM64 Base OSS Nvidia Driver GPU AMI (Ubuntu 22.04) ????????' 'Name=state,Values=available' \
      --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
      --output text

支持多 ENI

• Ubuntu 22.04 在初始启动时 NICs 通过 cloud-init 自动设置和配置多个源路由。如果您的工作流程在实例停止时包括 attaching/detaching 您的 ENI，则必须向 cloud-init 用户数据中添加额外的配置，以确保在这些事件期间正确配置 NIC。下面提供了云配置的示例。

• 有关如何为您的实例配置云配置的更多信息，请参阅此处的 Canonical 文档--/https://documentation.ubuntu.com/aws/en/latest/aws-how-to/instances/automaticallysetup-multiple-nics

内核

• 使用以下命令固定内核版本：

  echo linux-aws hold | sudo dpkg —set-selections
  echo linux-headers-aws hold | sudo dpkg —set-selections
  echo linux-image-aws hold | sudo dpkg —set-selections

• 我们建议用户避免更新其内核版本（除非有安全补丁），以确保与已安装的驱动程序和软件包版本兼容。如果用户仍想更新，可以运行以下命令来取消固定其内核版本：

  echo linux-aws install | sudo dpkg -set-selections
  echo linux-headers-aws install | sudo dpkg -set-selections
  echo linux-image-aws install | sudo dpkg -set-selections

• 对于每个新版本的 DLAMI，都使用最新可用的兼容内核。

• 将 Nvidia 驱动程序从 570.86.15 版本升级到 570.133.20，以解决 CVE 在 2025 年 4 月 NVIDIA GPU 显示驱动程序安全公告中的问题

• 使用 NCCL 2.26.2 更新了 CUDA 12.8 堆栈

• 将默认 CUDA 从 12.6 更新为 12.8

• 已移除 CUDA 12.3

• 从 550.144.03 到 570.86.15 的 Nvidia 驱动程序

• 默认 CUDA 已从 CUDA12 .1 更改为 .6 CUDA12

• CUDA 目录为 12.4，其中包含已编译的 NCCL 版本 2.22. CUDA12 3+ .4 和 cuDNN 9.7.1.26

• CUDA 目录为 12.5，其中包含已编译的 NCCL 版本 2.22. CUDA12 3+ .5 和 cuDNN 9.7.1.26

• CUDA 目录为 12.6，其中包含已编译的 NCCL 版本 2.24 CUDA12 .3+ .6 和 cuDNN 9.7.1.26

• CUDA 目录为 12.8，其中包含已编译的 NCCL 版本 2.25 CUDA12 .1+ .8 和 cuDNN 9.7.1.26

• 12.1 和 12.2 的 CUDA 目录

• 将 NVIDIA 容器工具包从版本 1.17.3 更新到 1.17.4 版

  • 有关更多信息，请参阅此处的发行说明页面：https://github.com/NVIDIA/nvidia-container-toolkit/releases/tag/v1.17. 4

  • 在容器工具包版本 1.17.4 中，现已禁用 CUDA 兼容库的挂载。为了确保与容器工作流程中的多个 CUDA 版本兼容，请确保更新 LD_LIBRARY_PATH 以包含您的 CUDA 兼容性库，如如果您使用 CUDA 兼容层教程中所示。

• 删除了 NV IDIA CUDA 工具包提供的用户空间库 cuobj 和 nvd isasm，以解决在 2025 年 2 月 18 日的 NVIDIA CUDA 工具包安全公告中 CVEs 出现的问题

• 将 Nvidia 驱动程序从 550.127.05 版升级到 550.144.03 版，以解决 2025 年 1 月 NVIDIA G PU CVEs 显示驱动程序安全公告中提到的问题

• 将 Nvidia 驱动程序从 550.90.07 版本升级到 550.127.05，以解决 2024 年 10 月 NVIDIA GPU CVEs 显示屏安全公告中提到的问题

• 将 Nvidia 驱动程序版本从 535.161.08 更新到 535.183.01

• 适用于 Ubuntu 的深度学习 ARM64 基础 OSS DLAMI 的首次发布 22.04