AWS 深度学习 ARM64 基础 GPU AMI（亚马逊 Linux 2023）

• 深度学习 ARM64 基础 OSS Nvidia Driver GPU AMI（亚马逊 Linux 2023）$ {YYYY-MM-DD}

• g5g、p6e-GB2 00（p6e-00 支持 CUDA>=12.8）GB2

• 支持的 AWS 服务：Amazon EC2

• 操作系统：亚马逊 Linux 2023

• 计算架构： ARM64

• 已为以下软件包安装了最新的可用版本：

  • Linux 内核：6. 12

  • FSx Lustre

  • Docker

  • AWS CLI v2 位于/usr/bin/aws

  • 英伟达 DCGM

  • 英伟达容器工具包：

    • 版本命令： nvidia-container-cli-V

  • nvidia-docker2：

    • 版本命令：nvidia-docker 版本

• NVIDIA 驱动程序：570.158.01

• NVIDIA CUDA 12.4、12.5、12.6、12.8 堆栈：

  • C@@ UDA、NCCL 和 cudDN 安装目录：/-xx.x/ usr/local/cuda

    • 示例：/usr/local/cuda-12.8/ , /usr/local/cuda-12.8/

  • 已编译的 NCCL 版本：

    • 对于 12.4 的 CUDA 目录，编译了 NCCL 版本 2.22.3+ .4 CUDA12

    • 对于 12.5 的 CUDA 目录，编译了 NCCL 版本 2.22.3+ .5 CUDA12

    • 对于 12.6 的 CUDA 目录，编译了 NCCL 版本 2.24.3+ .6 CUDA12

    • 对于 12.8 的 CUDA 目录，编译了 NCCL 版本 2.27.5+ .8 CUDA12

  • 默认 CUDA：12.8

    • 路径/ usr/local/cuda 指向 CUDA 12.8

    • 在环境变量下方更新：

      • LD_LIBRARY_PATH 要有 /64 usr/local/cuda-12.8/lib:/usr/local/cuda-12.8/lib64:/usr/local/cuda-12.8:/usr/local/cuda-12.8/targets/sbsa-linux/lib:/usr/local/cuda-12.8/nvvm/lib64:/usr/local/cuda-12.8/extras/CUPTI/lib

      • 要拥有的路径/usr/local/cuda-12.8/bin/:/usr/local/cuda-12.8/include/

      • 对于任何不同的 CUDA 版本，请相应地更新 LD_LIBRARY_PATH。

• EFA 安装程序：1.42.0

• 英伟达 GDRCopy：2.5.1

• AWS OFI NCCL 插件附带 EFA 安装程序

  • 路径/opt/amazon/ofi-nccl/lib and /opt/amazon/ofi-nccl/efa已添加到 LD_LIBRARY_PATH。

• AWS CLI v2 位于/usr/local/bin/aws

• EBS 卷类型：gp3

• Python：/usr/bin/python3.9

• 使用 SSM 参数查询 AMI-ID（示例区域为 us-east-1）：

  SSM_PARAMETER=base-oss-nvidia-driver-gpu-amazon-linux-2023/latest/ami-id \
      aws ssm get-parameter --region us-east-1 \
      --name /aws/service/deeplearning/ami/arm64/$SSM_PARAMETER  \
      --query "Parameter.Value" \
      --output text

• 使用以下方式查询 AMI-ID AWSCLI （示例区域为 us-east-1）：

  aws ec2 describe-images --region us-east-1 --owners amazon --filters 'Name=name,Values=Deep Learning ARM64 Base OSS Nvidia Driver GPU AMI (Amazon Linux 2023) ????????' 'Name=state,Values=available' --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' --output text

内核

• 使用以下命令固定内核版本：

  sudo dnf versionlock kernel*

• 我们建议用户避免更新其内核版本（除非有安全补丁），以确保与已安装的驱动程序和软件包版本兼容。如果用户仍想更新，可以运行以下命令来取消固定其内核版本：

  sudo dnf versionlock delete kernel*
  sudo dnf update -y

• 对于每个新版本的 DLAMI，都使用最新可用的兼容内核。

• 增加了对 EC2 实例 p6e-GB2 00 的支持。请注意 p6e-00 支持 CUDA>=12.8 GB2

• 添加 EFA 1.42.0

• 将 Nvidia 驱动程序从 570.133.20 版本升级到 570.158.01

• 使用 NCCL 2.27.5 升级了 CUDA 12.8 堆栈

• 将 Nvidia 驱动程序从 570.86.15 版本升级到 570.133.20，以解决 2025 年 4 月 NVIDIA G PU CVEs 显示驱动程序安全公告中提到的问题

• 使用 N CUDA12 CCL 2.26.2 更新了 .8 堆栈

• 将默认 CUDA 从 12.6 更新为 12.8

• 将 Nvidia 驱动程序从 570.124.06 版本升级到 570.133.20，以解决 2025 年 4 月 NVIDIA G PU CVEs 显示驱动程序安全公告中提到的问题

• 内核版本从 6.1 更新到 6.12

• 从 550.144.03 到 570.86.15 的 Nvidia 驱动程序

• 默认 CUDA 已从 CUDA12 .4 更改为 .6 CUDA12

• CUDA 目录为 12.5，其中包含已编译的 NCCL 版本 2.22. CUDA12 3+ .5 和 cuDNN 9.7.1.26

• CUDA 目录为 12.6，其中包含已编译的 NCCL 版本 2.24 CUDA12 .3+ .6 和 cuDNN 9.7.1.26

• CUDA 目录为 12.8，其中包含已编译的 NCCL 版本 2.25 CUDA12 .1+ .8 和 cuDNN 9.7.1.26

• 适用于 Amazon Linux 2023 的深度学习 ARM64 基础 OSS DLAMI 的首次发布