AWS 深度学习 AMI GPU PyTorch 2.4 (Ubuntu 22.04)

• 深度学习 OSS Nvidia 驱动程序 AMI GPU PyTorch 2.4。 $ {PATCH_VERSION} (Ubuntu 22.04) $ {YYYY-MM-DD}

• 请参阅 DLAMI 的重要更改。

• 使用 OSS 进行深度学习 Nvidia Driver 支持 G4dn、G5、G6、Gr6、P4、p4de、P5、p5e、p5e、p5eN。

• 支持的 AWS 服务： EC2

• 操作系统：Ubuntu 22.04

• 计算架构：x86

• Python:/opt/conda/envs/pytorch/bin/python

• 英伟达驱动程序：

  • OSS Nvidia 驱动程序：550.144.03

• 英伟达 CUDA12 .1 堆栈：

  • CUDA、NCCL 和 cudDN 安装路径：/-12.4/ usr/local/cuda

  • 默认 CUDA：12.4

    • 路径/ usr/local/cuda points to /usr/local/cuda -12.4/

    • 在环境变量下方更新：

      • LD_LIBRARY_PATH 要有/usr/local/cuda/lib:/usr/local/cuda/lib64:/usr/local/cuda:/usr/local/cuda/targets/x86_64-linux/lib

      • 拥有路径/usr/local/cuda/bin/:/usr/local/cuda/include/

  • 编译后的系统 NCCL 版本现在/usr/local/cuda/: 2.21.5

  • PyTorch 从 c PyTorch onda 环境中编译的 NCCL 版本：2.20.5

• NCCL 考试地点：

  • all_reduce、all_gather 和 reduce_scatter：/-cuda-xx.x/ usr/local/cuda-xx.x/efa/test

  • 要运行 NCCL 测试，LD_LIBRARY_PATH 已经更新了所需的路径。

    • 已 PATHs 在 LD_LIBRARY_PATH 中添加了常见内容：

      • /opt/amazon/efa/lib:/opt/amazon/openmpi/lib:/opt/aws-ofi-nccl/lib:/usr/local/lib:/usr/lib

  • LD_LIBRARY_PATH 已使用 CUDA 版本路径更新

    • /usr/local/cuda/lib:/usr/local/cuda/lib64:/usr/local/cuda:/usr/local/cud/targets/x86_64-linux/lib

• EFA 安装程序：1.34.0

• 英伟达 GDRCopy：2.4.1

• Nvidia 变形金刚引擎：v1.11 .0

• AWS OFI NCCL 插件：作为 EFA Installer-AWS 的一部分安装

  • 安装路径：/已添加到 LD_L opt/aws-ofi-nccl/ . Path /opt/aws-ofi-nccl/lib IBRARY_PATH。

  • 测试响铃的路径，消息传输：/opt/aws-ofi-nccl/tests

  • 注意： PyTorch 软件包还附带动态链接的 AWS OFI NCCL 插件作为 conda 软件 aws-ofi-nccl-dlc包， PyTorch并将使用该软件包代替系统 OFI NCCL。 AWS

• AWS CLI v2 是 aws2，v1 是 aws AWS CLI

• EBS 卷类型：gp3

• Python 版本：3.11

• 使用 SSM 参数查询 AMI-ID（示例区域为 us-east-1）：

  • OSS 英伟达驱动程序：

    aws ssm get-parameter --region us-east-1 \
            --name /aws/service/deeplearning/ami/x86_64/oss-nvidia-driver-gpu-pytorch-2.4-ubuntu-22.04/latest/ami-id \
            --query "Parameter.Value" \
            --output text

• 使用以下方式查询 AMI-ID AWSCLI （示例区域为 us-east-1）：

  • OSS 英伟达驱动程序：

    aws ec2 describe-images --region us-east-1 \
        --owners amazon \
        --filters 'Name=name,Values=Deep Learning OSS Nvidia Driver AMI GPU PyTorch 2.4.? (Ubuntu 22.04) ????????' 'Name=state,Values=available' \
        --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
        --output text

p5/p5e 实例

• DeviceIndex 对每个都是唯一的 NetworkCard，并且必须是小于 ENIs p NetworkCard er 限制的非负整数。在 P5 上，p ENIs er 的数量 NetworkCard 为 2，这意味着的唯一有效值 DeviceIndex 是 0 或 1。以下是使用 awscli 的 EC2 P5 实例启动命令示例，显示 NetworkCardIndex 从数字 0-31 开始，第一个接口显示 DeviceIndex 为 0，其余 31 个接口显示 DeviceIndex 为 1。

• 将 NVIDIA 容器工具包从版本 1.17.3 更新到 1.17.4 版

  • 有关更多信息，请参阅此处的发行说明页面： https://github.com/NVIDIA/nvidia-container-toolkit/releases/tag/v1.17. 4

  • 在容器工具包版本 1.17.4 中，现已禁用 CUDA 兼容库的挂载。为了确保与容器工作流程中的多个 CUDA 版本兼容，请确保更新 LD_LIBRARY_PATH 以包含您的 CUDA 兼容性库，如如果您使用 CUDA 兼容层教程中所示。

• 将Nvidia驱动程序从550.127.05版本升级到550.144.03版，以解决CVE在2025年1月的 NVIDIA GPU显示驱动程序安全公告中的问题。

• 由于 Ubuntu 内核为解决内核地址空间布局随机化 (KASLR) 功能中的缺陷而进行了更改，G4Dn/G5 实例无法在 OSS Nvidia 驱动程序上正确初始化 CUDA。为了缓解此问题，此 DLAMI 包含动态加载 G4Dn 和 G5 实例专有驱动程序的功能。请留出一段短暂的初始化时间进行此加载，以确保您的实例能够正常运行。

  • 要检查此服务的状态和运行状况，可以使用以下命令：

• 添加了用于加速 Transformer 模型的 N TransformerEngine vidia v1.11.0（更多详细信息，请参阅 transformer-.htm https://docs.nvidia.com/deeplearning/l）engine/user-guide/index

• 将 Nvidia 容器工具包从版本 1.16.1 升级到 1.16.2，解决了安全漏洞 CVE-2024-0133。

• 深度学习 AMI GPU PyTorch 2.4.1 (Ubuntu 22.04) 系列的首次发布。包括配备 NVIDIA 驱动程序 R550、CUDA=12.4.1、cuda=8.9.7、NCCL=2.20.5 和 EFA=1.34.0 的 conda 环境。 PyTorch