AWS Deep Learning AMI GPU PyTorch 2.4（Ubuntu 22.04）

• 深度学习 OSS Nvidia 驱动程序 AMI GPU PyTorch 2.4.${PATCH_VERSION}（Ubuntu 22.04）${年-月-日}

• 请参阅 DLAMI 的重要更改。

• 采用 OSS Nvidia 驱动程序的深度学习支持 G4dn、G5、G6、Gr6、P4、P4de、P5、P5e、P5en。

• 支持的 AWS 服务：EC2

• 操作系统：Ubuntu 22.04

• 计算架构：x86

• Python：/opt/conda/envs/pytorch/bin/python

• NVIDIA 驱动程序：

  • OSS Nvidia 驱动程序：550.144.03

• NVIDIA CUDA12.1 堆栈：

  • CUDA、NCCL 和 cuDDN 安装路径：/usr/local/cuda-12.4/

  • 默认 CUDA：12.4

    • PATH /usr/local/cuda 指向 /usr/local/cuda-12.4/

    • 更新以下环境变量：

      • LD_LIBRARY_PATH 更新为包含 /usr/local/cuda/lib:/usr/local/cuda/lib64:/usr/local/cuda:/usr/local/cuda/targets/x86_64-linux/lib

      • PATH 更新为包含 /usr/local/cuda/bin/:/usr/local/cuda/include/

  • 在 /usr/local/cuda/ 下，现存的已编译系统 NCCL 版本为：2.21.5

  • 来自 PyTorch conda 环境的、PyTorch 编译的 NCCL 版本为：2.20.5。

• NCCL 测试位置：

  • all_reduce、all_gather 和 reduce_scatter：/usr/local/cuda-xx.x/efa/test-cuda-xx.x/

  • 为了运行 NCCL 测试，LD_LIBRARY_PATH 已经更新了必需的路径。

    • 常用 PATH 已经被添加到 LD_LIBRARY_PATH：

      • /opt/amazon/efa/lib:/opt/amazon/openmpi/lib:/opt/aws-ofi-nccl/lib:/usr/local/lib:/usr/lib

  • LD_LIBRARY_PATH 更新为指向 CUDA 版本路径

    • /usr/local/cuda/lib:/usr/local/cuda/lib64:/usr/local/cuda:/usr/local/cud/targets/x86_64-linux/lib

• EFA 安装程序：1.34.0

• Nvidia GDRCopy：2.4.1

• Nvidia Transformer Engine：v1.11.0

• AWS OFI NCCL 插件：作为 EFA Installer-aws 的一部分安装

  • 安装路径：/opt/aws-ofi-nccl/。路径 /opt/aws-ofi-nccl/lib 添加到 LD_LIBRARY_PATH。

  • 用于 ring、message_transfer 的测试路径：/opt/aws-ofi-nccl/tests

  • 请注意：PyTorch 软件包附带了动态链接的 AWS OFI NCCL 插件（以 conda 软件包 aws-ofi-nccl-dlc 的形式提供），并且 PyTorch 将使用该软件包而不是系统 AWS OFI NCCL。

• AWS CLI v2 为 aws2 并且 AWS CLI v1 为 aws

• EBS 卷类型：gp3

• Python 版本：3.11

• 使用 SSM 参数查询 AMI-ID（示例区域为 us-east-1）：

  • OSS Nvidia 驱动程序：

    aws ssm get-parameter --region us-east-1 \
            --name /aws/service/deeplearning/ami/x86_64/oss-nvidia-driver-gpu-pytorch-2.4-ubuntu-22.04/latest/ami-id \
            --query "Parameter.Value" \
            --output text

• 使用 AWSCLI 查询 AMI-ID（示例区域为 us-east-1）：

  • OSS Nvidia 驱动程序：

    aws ec2 describe-images --region us-east-1 \
        --owners amazon \
        --filters 'Name=name,Values=Deep Learning OSS Nvidia Driver AMI GPU PyTorch 2.4.? (Ubuntu 22.04) ????????' 'Name=state,Values=available' \
        --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
        --output text

P5/P5e 实例

• DeviceIndex 对于每个网卡都是唯一的，其值必须是一个非负整数，且小于每个网卡支持的 ENI 数量上限。在 P5 上，每个网卡支持 2 个 ENI，这意味着 DeviceIndex 的唯一有效值是 0 或 1。以下是使用 awscli 启动 EC2 P5 实例命令的示例，其中展示了如何设置网卡索引（从 0 到 31）以及设备索引（第一个接口为 0，其余 31 个接口为 1）。

• NVIDIA Container Toolkit 版本从 1.17.3 更新为 1.17.4

  • 有关更多信息，请查看此处的发布说明页面：https://github.com/NVIDIA/nvidia-container-toolkit/releases/tag/v1.17.4

  • 在 Container Toolkit 版本 1.17.4 中，现在禁用挂载 CUDA 兼容性库。为了确保与容器工作流中的多个 CUDA 版本兼容，请确保更新 LD_LIBRARY_PATH 以包含您的 CUDA 兼容性库，如如果您使用 CUDA 兼容层教程中所示。

• Nvidia 驱动程序版本从 550.127.05 升级到 550.144.03，以解决 2025 年 1 月版 NVIDIA GPU 显示器驱动程序安全公告中披露的 CVE 漏洞。

• 由于 Ubuntu 内核为解决内核地址空间布局随机化（KASLR）功能中的缺陷而进行了更改，导致 G4Dn/G5 实例无法在 OSS Nvidia 驱动程序上正常初始化 CUDA。为缓解此问题，该 DLAMI 包括了一项功能，可为 G4Dn 和 G5 实例动态加载专有驱动程序。为了确保您的实例能够正常工作，请为此加载预留一段短暂的初始化时间。

  • 要查看此服务的状态和运行情况，您可以使用以下命令：

• 增加了 TransformerEngine v1.11.0 以加速转换器模型（有关更多详情，请参考 https://docs.nvidia.com/deeplearning/transformer-engine/user-guide/index.html）

• Nvidia Container Toolkit 版本从 1.16.1 升级到 1.16.2，旨在解决安全漏洞 CVE-2024-0133。

• Deep Learning AMI GPU PyTorch 2.4.1（Ubuntu 22.04）系列的初始版本。包括一个 conda 环境 pytorch，其中配备 NVIDIA 驱动程序 R550、CUDA=12.4.1、cuDNN=8.9.7、PyTorch NCCL=2.20.5 和 EFA=1.34.0。