AWS 深度学习 ARM64 基础 GPU AMI (亚马逊 Linux 2)

• 深度学习 ARM64 基础 OSS Nvidia Driver GPU AMI (亚马逊 Linux 2) $ {YYYY-MM-DD}

• G5g

• 支持的 AWS 服务：Amazon EC2

• 操作系统：亚马逊 Linux 2

• 计算架构： ARM64

• Linux 内核：5.10

• NVIDIA 驱动程序：550.144.03

• NVIDIA CUDA 12.1、12.2、12.3 堆栈：

  • CUDA、NCCL 和 cudDN 安装目录：

    • 示例：/usr/local/cuda-12.1/ , /usr/local/cuda-12.1/

  • 已编译的 NCCL 版本：

    • 对于 12.3 的 CUDA 目录，编译了 NCCL 版本 2.21.5+ .4 CUDA12

    • 对于 12.1、12.2 的 CUDA 目录，已编译的 NCCL 版本 .18.5+ .2 CUDA12

  • 默认 CUDA：12.1

    • 路径/ usr/local/cuda 指向 CUDA 12.1

    • 在环境变量下方更新：

      • LD_LIBRARY_PATH 要有 /64 usr/local/cuda-12.1/lib:/usr/local/cuda-12.1/lib64:/usr/local/cuda-12.1:/usr/local/cuda-12.1/targets/sbsa-linux/lib:/usr/local/cuda-12.1/nvvm/lib64:/usr/local/cuda-12.1/extras/CUPTI/lib

      • 拥有路径/usr/local/cuda-12.1/bin/:/usr/local/cuda-12.1/include/

      • 对于任何不同的 CUDA 版本，请相应地更新 LD_LIBRARY_PATH。

• AWS CLI v2 位于/usr/local/bin/aws2 和 AWS CLI v1 位于/usr/bin/aws

• EBS 卷类型：gp3

• Nvidia 容器工具包：1.16.2

  • 版本命令： nvidia-container-cli-V

• Docker：26.1.2

• Python：/usr/bin/python3.10

• 使用 SSM 参数查询 AMI-ID（示例区域为 us-east-1）：

  SSM_PARAMETER=base-oss-nvidia-driver-gpu-amazon-linux-2/latest/ami-id \
      aws ssm get-parameter --region us-east-1 \
      --name /aws/service/deeplearning/ami/arm64/$SSM_PARAMETER  \
      --query "Parameter.Value" \
      --output text

• 使用以下方式查询 AMI-ID AWSCLI （示例区域为 us-east-1）：

  aws ec2 describe-images --region us-east-1 \
      -owners amazon \
      --filters 'Name=name,Values=Deep Learning ARM64 Base OSS Nvidia Driver GPU AMI (Amazon Linux 2) ????????' 'Name=state,Values=available' \
      --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
      --output text

内核

• 使用以下命令固定内核版本：

  sudo yum versionlock kernel*

• 我们建议用户避免更新其内核版本（除非有安全补丁），以确保与已安装的驱动程序和软件包版本兼容。如果用户仍想更新，可以运行以下命令来取消固定其内核版本：

  sudo yum versionlock delete kernel*
  sudo yum update -y

• 对于每个新版本的 DLAMI，都使用最新可用的兼容内核。

• 将 NVIDIA 容器工具包从版本 1.17.3 更新到 1.17.4 版

  • 有关更多信息，请参阅此处的发行说明页面：https://github.com/NVIDIA/nvidia-container-toolkit/releases/tag/v1.17. 4

  • 在容器工具包版本 1.17.4 中，现已禁用 CUDA 兼容库的挂载。为了确保与容器工作流程中的多个 CUDA 版本兼容，请确保更新 LD_LIBRARY_PATH 以包含您的 CUDA 兼容性库，如如果您使用 CUDA 兼容层教程中所示。

• 删除了 NV IDIA CUDA 工具包提供的用户空间库 cuobj 和 nvd isasm，以解决在 2025 年 2 月 18 日的 NVIDIA CUDA 工具包安全公告中 CVEs 出现的问题

• 将 Nvidia 驱动程序从 550.127.05 版升级到 550.144.03 版，以解决 2025 年 1 月 NVIDIA G PU CVEs 显示驱动程序安全公告中提到的问题

• 将 Nvidia 驱动程序从 550.90.07 版本升级到 550.127.05，以解决 2024 年 10 月 NVIDIA GPU CVEs 显示屏安全公告中提到的问题

• 将 Nvidia 容器工具包从版本 1.16.1 升级到 1.16.2，解决了安全漏洞 CVE-2024-0133。

• 将 Nvidia 驱动程序版本从 535.161.08 更新到 535.183.01

• 适用于 Amazon Linux 2 的深度学习 ARM64 基础 OSS DLAMI 的首次发布