AWS Deep Learning AMI GPU PyTorch 2.5 (Ubuntu 22.04)

• 深度學習 OSS Nvidia 驅動程式 AMI GPU PyTorch 2.5.${PATCH_VERSION} (Ubuntu 22.04) ${YYYY-MM-DD}

• 請參閱 DLAMI 的重要變更。

• 使用 OSS Nvidia Driver 的深度學習支援 G4dn, G5, G6, Gr6, P4, P4de, P5, P5e, P5en。

• 支援服務 AWS ：Amazon EC2

• 作業系統：Ubuntu 22.04

• 運算架構：x86

• Python：/opt/conda/envs/pytorch/bin/python

• NVIDIA 驅動程式：

  • OSS Nvidia 驅動程式：570.172.08

• NVIDIA CUDA12.4 堆疊：

  • CUDA、NCCL 和 cuDDN 安裝路徑：/usr/local/cuda-12.4/

  • 預設 CUDA：12.4

    • PATH /usr/local/cuda 指向 /usr/local/cuda-12.4/

    • 已更新下列 env vars：

      • LD_LIBRARY_PATH 具有 /usr/local/cuda/lib：/usr/local/cuda/lib64：/usr/local/cuda：/usr/local/cuda/targets/x86_64-linux/lib

      • 要讓 /usr/local/cuda/bin/：/usr/local/cuda/include/ 的 PATH

  • 編譯系統 NCCL 版本，位於 /usr/local/cuda/： 2.21.5

  • 來自 PyTorch conda 環境的 PyTorch 編譯 NCCL 版本：2.21.5

• NCCL 測試位置：

  • all_reduce、all_gather 和 reduce_scatter：/usr/local/cuda-xx.x/efa/test-cuda-xx.x/

  • 若要執行 NCCL 測試，LD_LIBRARY_PATH 已使用所需的路徑更新。

    • 常見 PATHs已新增至 LD_LIBRARY_PATH：

      • /opt/amazon/efa/lib：/opt/amazon/openmpi/lib：/opt/aws-ofi-nccl/lib：/usr/local/lib：/usr/lib

  • LD_LIBRARY_PATH 已更新為 CUDA 版本路徑

    • /usr/local/cuda/lib：/usr/local/cuda/lib64：/usr/local/cuda：/usr/local/cud/targets/x86_64-linux/lib

• EFA 安裝程式：1.43.1

• Nvidia GDRCopy：2.4.1

• Nvidia 轉換器引擎：1.11.0 版

• AWS OFI NCCL：1.11.0-aws

  • 安裝路徑：/opt/aws-ofi-nccl/ 。路徑 /opt/aws-ofi-nccl/lib 已新增至 LD_LIBRARY_PATH。

  • 測試 ring， message_transfer 的路徑：/opt/aws-ofi-nccl/tests

  • 注意：PyTorch 套件隨附動態連結的 AWS OFI NCCL 外掛程式做為 conda 套件 aws-ofi-nccl-dlc 套件，而 PyTorch 將使用該套件，而不是系統 AWS OFI NCCL。

• AWS CLI v2 作為 aws2 和 AWS CLI v1 作為 aws

• EBS 磁碟區類型：gp3

• Python 版本：3.11

• 使用 SSM 參數查詢 AMI-ID （範例區域為 us-east-1)：

  • OSS Nvidia 驅動程式：

    aws ssm get-parameter --region us-east-1 \
            --name /aws/service/deeplearning/ami/x86_64/oss-nvidia-driver-gpu-pytorch-2.5-ubuntu-22.04/latest/ami-id  \
            --query "Parameter.Value" \
            --output text

• 使用 AWSCLI 查詢 AMI-ID （範例區域為 us-east-1)：

  • OSS Nvidia 驅動程式：

    aws ec2 describe-images --region us-east-1 \
        --owners amazon --filters 'Name=name,Values=Deep Learning OSS Nvidia Driver AMI GPU PyTorch 2.5.? (Ubuntu 22.04) ????????' 'Name=state,Values=available' \
        --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
        --output text

• DeviceIndex 對每個 NetworkCard 都是唯一的，而且必須是小於每個 NetworkCard ENIs 限制的非負整數。在 P5 上，每個 NetworkCard ENIs 數目為 2，這表示 DeviceIndex 的唯一有效值為 0 或 1。以下是使用 awscli 的 EC2 P5 執行個體啟動命令範例，其中將數字 0-31 的 NetworkCardIndex 和 DeviceIndex 顯示為 0，第一個界面的 DeviceIndex 顯示為 1，其餘 31 界面的 DeviceIndex 顯示為 1。

核心

• 核心版本使用 命令鎖定：

  echo linux-aws hold | sudo dpkg —set-selections
  echo linux-headers-aws hold | sudo dpkg —set-selections
  echo linux-image-aws hold | sudo dpkg —set-selections

• 我們建議使用者避免更新核心版本 （除非因為安全修補程式），以確保與已安裝的驅動程式和套件版本相容。如果使用者仍想要更新，可以執行下列命令來取消鎖定核心版本：

  echo linux-aws install | sudo dpkg —set-selections
  echo linux-headers-aws install | sudo dpkg —set-selections
  echo linux-image-aws install | sudo dpkg —set-selections
  apt-get upgrade -y

• 對於每個新版本的 DLAMI，會使用最新的可用相容核心。

• 將 NVIDIA Container Toolkit 從 1.17.3 版更新至 1.17.4 版

  • 如需詳細資訊，請參閱此處的版本備註頁面：https：//https://github.com/NVIDIA/nvidia-container-toolkit/releases/tag/v1.17.4

  • 在 Container Toolkit 1.17.4 版中，CUDA Compat 程式庫的掛載現已停用。為了確保容器工作流程上多個 CUDA 版本的相容性，請確保您更新 LD_LIBRARY_PATH 以包含 CUDA 相容性程式庫，如如果您使用 CUDA 相容性層教學中所示。

• 已移除 NVIDIA CUDA 工具組提供的使用者空間程式庫 cuobj 和 nvdisasm，以解決 2025 年 2 月 18 日 NVIDIA CUDA 工具組安全公告中存在的 CVEs

• 已將 Nvidia 驅動程式從 550.127.05 版升級至 550.144.03，以解決 2025 年 1 月 NVIDIA GPU 顯示驅動程式安全公告中存在的 CVEs。

• Deep Learning AMI GPU PyTorch 2.4.1 (Ubuntu 22.04) 系列的初始版本。包含與 NVIDIA 驅動程式 R550、CUDA=12.4.1、cuDNN=8.9.7、PyTorch NCCL=2.21.5 和 EFA=1.37.0 相輔相成的 conda 環境pytorch。

• 由於 Ubuntu 核心變更以解決核心位址空間配置隨機化 (KASLR) 功能中的瑕疵，G4Dn/G5 執行個體無法在 OSS Nvidia 驅動程式上正確初始化 CUDA。為了緩解此問題，此 DLAMI 包含可動態載入 G4Dn 和 G5 執行個體專屬驅動程式的功能。請允許此載入的短暫初始化期間，以確保您的執行個體能夠正常運作。

  • 若要檢查此服務的狀態和運作狀態，您可以使用下列命令：