AWS Deep Learning AMI GPU PyTorch 2.4 (Ubuntu 22.04)

• 深度學習 OSS Nvidia 驅動程式 AMI GPU PyTorch 2.4.${PATCH_VERSION} (Ubuntu 22.04) ${YYYY-MM-DD}

• 請參閱 DLAMI 的重要變更。

• 使用 OSS Nvidia Driver 的深度學習支援 G4dn, G5, G6, Gr6, P4, P4de, P5, P5e, P5en。

• 支援 AWS 的服務：EC2

• 作業系統：Ubuntu 22.04

• 運算架構：x86

• Python：/opt/conda/envs/pytorch/bin/python

• NVIDIA 驅動程式：

  • OSS Nvidia 驅動程式：550.144.03

• NVIDIA CUDA12.1 堆疊：

  • CUDA、NCCL 和 cuDDN 安裝路徑：/usr/local/cuda-12.4/

  • 預設 CUDA：12.4

    • PATH /usr/local/cuda 指向 /usr/local/cuda-12.4/

    • 已更新下列 env vars：

      • LD_LIBRARY_PATH 具有 /usr/local/cuda/lib：/usr/local/cuda/lib64：/usr/local/cuda：/usr/local/cuda/targets/x86_64-linux/lib

      • 要讓 /usr/local/cuda/bin/：/usr/local/cuda/include/ 的 PATH

  • 編譯系統 NCCL 版本，位於 /usr/local/cuda/： 2.21.5

  • 來自 PyTorch conda 環境的 PyTorch 編譯 NCCL 版本：2.20.5

• NCCL 測試位置：

  • all_reduce、all_gather 和 reduce_scatter：/usr/local/cuda-xx.x/efa/test-cuda-xx.x/

  • 若要執行 NCCL 測試，LD_LIBRARY_PATH 已使用所需的路徑更新。

    • 常見 PATHs已新增至 LD_LIBRARY_PATH：

      • /opt/amazon/efa/lib：/opt/amazon/openmpi/lib：/opt/aws-ofi-nccl/lib：/usr/local/lib：/usr/lib

  • LD_LIBRARY_PATH 已更新為 CUDA 版本路徑

    • /usr/local/cuda/lib：/usr/local/cuda/lib64：/usr/local/cuda：/usr/local/cud/targets/x86_64-linux/lib

• EFA 安裝程式：1.34.0

• Nvidia GDRCopy：2.4.1

• Nvidia 轉換器引擎：1.11.0 版

• AWS OFI NCCL：1.11.0-aws

  • 安裝路徑：/opt/aws-ofi-nccl/ 。路徑 /opt/aws-ofi-nccl/lib 已新增至 LD_LIBRARY_PATH。

  • 測試 ring， message_transfer 的路徑：/opt/aws-ofi-nccl/tests

  • 注意：PyTorch 套件隨附動態連結的 AWS OFI NCCL 外掛程式做為 conda 套件 aws-ofi-nccl-dlc 套件，而 PyTorch 將使用該套件，而不是系統 AWS OFI NCCL。

• AWS CLI v2 作為 aws2 和 AWS CLI v1 作為 aws

• EBS 磁碟區類型：gp3

• Python 版本：3.11

• 使用 SSM 參數查詢 AMI-ID （範例區域為 us-east-1)：

  • OSS Nvidia 驅動程式：

    aws ssm get-parameter --region us-east-1 \
            --name /aws/service/deeplearning/ami/x86_64/oss-nvidia-driver-gpu-pytorch-2.4-ubuntu-22.04/latest/ami-id \
            --query "Parameter.Value" \
            --output text

• 使用 AWSCLI 查詢 AMI-ID （範例區域為 us-east-1)：

  • OSS Nvidia 驅動程式：

    aws ec2 describe-images --region us-east-1 \
        --owners amazon \
        --filters 'Name=name,Values=Deep Learning OSS Nvidia Driver AMI GPU PyTorch 2.4.? (Ubuntu 22.04) ????????' 'Name=state,Values=available' \
        --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
        --output text

P5/P5e 執行個體

• DeviceIndex 對每個 NetworkCard 都是唯一的，且必須是小於每個 NetworkCard 的 ENIs限制的非負整數。在 P5 上，每個 NetworkCard ENIs 數目為 2，這表示 DeviceIndex 的唯一有效值為 0 或 1。以下是使用 awscli 的 EC2 P5 執行個體啟動命令範例，將數字 0-31 的 NetworkCardIndex 和 DeviceIndex 顯示為 0，第一個界面的 DeviceIndex 顯示為 1，其餘 31 界面的 DeviceIndex 顯示為 1。

• 將 NVIDIA Container Toolkit 從 1.17.3 版更新至 1.17.4 版

  • 如需詳細資訊，請參閱此處的版本備註頁面：https：//https://github.com/NVIDIA/nvidia-container-toolkit/releases/tag/v1.17.4

  • 在 Container Toolkit 1.17.4 版中，CUDA Compat 程式庫的掛載現已停用。為了確保與容器工作流程上的多個 CUDA 版本相容，請確保您更新 LD_LIBRARY_PATH 以包含 CUDA 相容性程式庫，如如果您使用 CUDA 相容性層教學中所示。

• 已將 Nvidia 驅動程式從 550.127.05 版升級至 550.144.03，以解決 2025 年 1 月 NVIDIA GPU 顯示驅動程式安全公告中存在的 CVE。

• 由於 Ubuntu 核心變更以解決核心位址空間配置隨機化 (KASLR) 功能中的瑕疵，G4Dn/G5 執行個體無法在 OSS Nvidia 驅動程式上正確初始化 CUDA。為了緩解此問題，此 DLAMI 包含可動態載入 G4Dn 和 G5 執行個體專屬驅動程式的功能。請允許此載入的短暫初始化期間，以確保您的執行個體能夠正常運作。

  • 若要檢查此服務的狀態和運作狀態，您可以使用下列命令：

• 新增用於加速轉換器模型的 Nvidia TransformerEngine 1.11.0 版 （如需詳細資訊，請參閱 https://docs.nvidia.com/deeplearning/transformer-engine/user-guide/index.html：//)

• 已將 Nvidia Container Toolkit 從 1.16.1 版升級至 1.16.2 版，解決安全性漏洞 CVE-2024-0133。

• Deep Learning AMI GPU PyTorch 2.4.1 (Ubuntu 22.04) 系列的初始版本。包含與 NVIDIA 驅動程式 R550、CUDA=12.4.1、cuDNN=8.9.7、PyTorch NCCL=2.20.5 和 EFA=1.34.0 相輔相成的 conda 環境pytorch。