AWS 深度學習 AMI GPU PyTorch 2.5 (Amazon Linux 2023)

• 深度學習 OSS Nvidia 驅動程式 AMI GPU PyTorch 2.5.1 (Amazon Linux 2023) ${YYYY-MM-DD}

• 請參閱 DLAMI 的重要變更。

• 使用 OSS Nvidia 驅動程式的深度學習支援 G4dn, G5, G6, Gr6, G6e, P4d, P4de, P5, P5e, P5en

• 支援 AWS 的服務：EC2

• 作業系統：Amazon Linux 2023

• 運算架構：x86

• NVIDIA CUDA12.4 堆疊：

  • CUDA、NCCL 和 cuDDN 安裝路徑：/usr/local/cuda-12.4/

  • 預設 CUDA：12.4

    • PATH /usr/local/cuda 指向 /usr/local/cuda-12.4/

    • 已更新下列 env vars：

      • LD_LIBRARY_PATH 具有 /usr/local/cuda/lib：/usr/local/cuda/lib64：/usr/local/cuda：/usr/local/cud/targets/x86_64-linux/lib

      • 要讓 /usr/local/cuda/bin/：/usr/local/cuda/include/ 的 PATH

  • 12.4 的編譯 NCCL 版本：2.21.5

• NCCL 測試位置：

  • all_reduce、all_gather 和 reduce_scatter：/usr/local/cuda-xx.x/efa/test-cuda-xx.x/

  • 若要執行 NCCL 測試，LD_LIBRARY_PATH 已使用所需的路徑更新。

    • 常見 PATHs已新增至 LD_LIBRARY_PATH：

      • /opt/amazon/efa/lib：/opt/amazon/openmpi/lib：/opt/aws-ofi-nccl/lib：/usr/local/lib：/usr/lib

  • LD_LIBRARY_PATH 已更新為 CUDA 版本路徑

    • /usr/local/cuda/lib：/usr/local/cuda/lib64：/usr/local/cuda：/usr/local/cud/targets/x86_64-linux/lib

• EFA 安裝程式：1.38.0

• Nvidia GDRCopy：2.4.1

• AWS OFI NCCL：1.13.2-aws

  • AWS OFI NCCL 現在支援使用單一建置的多個 NCCL 版本

  • 安裝路徑：/opt/aws-ofi-nccl/ 。路徑 /opt/aws-ofi-nccl/lib 已新增至 LD_LIBRARY_PATH。

  • 測試 ring， message_transfer 的路徑：/opt/aws-ofi-nccl/tests

• Python 版本：3.11

• Python：/opt/conda/envs/pytorch/bin/python

• NVIDIA 驅動程式：560.35.03

• AWS CLI v2 於 /usr/bin/aws

• EBS 磁碟區類型：gp3

• NVMe 執行個體存放區位置 （在支援的 EC2 執行個體上）：/opt/dlami/nvme

• 使用 SSM 參數查詢 AMI-ID （範例區域為 us-east-1)：

  • OSS Nvidia 驅動程式：

    aws ssm get-parameter --region us-east-1 \
            --name /aws/service/deeplearning/ami/x86_64/oss-nvidia-driver-gpu-pytorch-2.5-amazon-linux-2023/latest/ami-id \
            --query "Parameter.Value" \
            --output text

• 使用 AWSCLI 查詢 AMI-ID （範例區域為 us-east-1)：

  • OSS Nvidia 驅動程式：

    aws ec2 describe-images --region us-east-1 \
        --owners amazon --filters 'Name=name,Values=Deep Learning OSS Nvidia Driver AMI GPU PyTorch 2.5.? (Amazon Linux 2023) ????????' 'Name=state,Values=available' \
        --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
        --output text

• DeviceIndex 對每個 NetworkCard 都是唯一的，而且必須是小於每個 NetworkCard ENIs 限制的非負整數。在 P5 上，每個 NetworkCard ENIs 數目為 2，這表示 DeviceIndex 的唯一有效值為 0 或 1。以下是使用 awscli 的 EC2 P5 執行個體啟動命令範例，將數字 0-31 的 NetworkCardIndex 和 DeviceIndex 顯示為 0，第一個界面的 DeviceIndex 顯示為 1，其餘 31 界面的 DeviceIndex 顯示為 1。

核心

• 核心版本使用 命令鎖定：

  sudo dnf versionlock kernel*

• 我們建議使用者避免更新其核心版本 （除非因為安全修補程式），以確保與已安裝的驅動程式和套件版本相容。如果使用者仍想要更新，可以執行下列命令來取消鎖定其核心版本：

  sudo dnf versionlock delete kernel*
  sudo dnf update -y

• 對於每個新版本的 DLAMI，會使用最新的可用相容核心。

• 將 NVIDIA Container Toolkit 從 1.17.3 版更新至 1.17.4 版

  • 如需詳細資訊，請參閱此處的版本備註頁面：https：//https://github.com/NVIDIA/nvidia-container-toolkit/releases/tag/v1.17.4

  • 在 Container Toolkit 1.17.4 版中，CUDA Compat 程式庫的掛載現已停用。為了確保容器工作流程上多個 CUDA 版本的相容性，請確保您更新 LD_LIBRARY_PATH 以包含 CUDA 相容性程式庫，如如果您使用 CUDA 相容性層教學中所示。

• 已移除 NVIDIA CUDA 工具組提供的使用者空間程式庫 cuobj 和 nvdisasm，以解決 2025 年 2 月 18 日 NVIDIA CUDA Toolkit 安全公告中存在的 CVEs

• 新增支援 forG4dn 執行個體。

• 適用於 Amazon Linux 2023 的 Deep Learning OSS Nvidia Driver AMI GPU PyTorch 2.5 初始版本

• 此 DLAMI 目前不支援 G4dn 和 G5 EC2 執行個體。 AWS 注意到可能導致 CUDA 初始化失敗的不相容，當使用開放原始碼 NVIDIA 驅動程式搭配 Linux 核心 6.1 版或更新版本時，這會影響 G4dn 和 G5 執行個體系列。此問題會影響 Linux 發行版本，例如 Amazon Linux 2023、Ubuntu 22.04 或更新版本，或 SUSE Linux Enterprise Server 15 SP6 或更新版本等。