AWS Deep Learning AMI GPU PyTorch 2.6 (Ubuntu 22.04) - AWS 深度學習 AMIs
AMI 名稱格式支援的 EC2 執行個體AMI 內容注意發行日期：2025-02-21

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

AWS Deep Learning AMI GPU PyTorch 2.6 (Ubuntu 22.04)

如需入門說明，請參閱 DLAMI 入門。

AMI 名稱格式

  • 深度學習 OSS Nvidia 驅動程式 AMI GPU PyTorch 2.6.${PATCH-VERSION} (Ubuntu 22.04) ${YYYY-MM-DD}

支援的 EC2 執行個體

  • 請參閱 DLAMI 的重要變更。

  • 使用 OSS Nvidia Driver 的深度學習支援 G4dn, G5, G6, Gr6, P4, P4de, P5, P5e, P5en。

AMI 包含下列項目：

  • 支援服務 AWS ：Amazon EC2

  • 作業系統：Ubuntu 22.04

  • 運算架構：x86

  • Python：/opt/pytorch/bin/python

  • NVIDIA 驅動程式：

    • OSS Nvidia 驅動程式：570.86.15

  • NVIDIA CUDA12.1 堆疊：

    • CUDA、NCCL 和 cuDDN 安裝路徑：/usr/local/cuda-12.6/

    • 預設 CUDA：12.6

      • PATH /usr/local/cudapoints 到 /usr/local/cuda-12.6/

      • 已更新下列 env vars：

        • LD_LIBRARY_PATH 具有 /usr/local/cuda/lib：/usr/local/cuda/lib64：/usr/local/cuda：/usr/local/cuda/targets/x86_64-linux/lib

        • 要讓 /usr/local/cuda/bin/：/usr/local/cuda/include/ 的 PATH

    • 編譯系統 NCCL 版本，位於 /usr/local/cuda/：2.24.3

    • 來自 PyTorch conda 環境的 PyTorch 編譯 NCCL 版本：2.21.5

  • NCCL 測試位置：

    • all_reduce、all_gather 和 reduce_scatter：/usr/local/cuda-xx.x/efa/test-cuda-xx.x/

    • 若要執行 NCCL 測試，LD_LIBRARY_PATH 已使用所需的路徑更新。

    • 常見 PATHs已新增至 LD_LIBRARY_PATH：

    • /opt/amazon/efa/lib：/opt/amazon/openmpi/lib：/opt/aws-ofi-nccl/lib：/usr/local/lib：/usr/lib

    • LD_LIBRARY_PATH 已更新為 CUDA 版本路徑

    • /usr/local/cuda/lib：/usr/local/cuda/lib64：/usr/local/cuda：/usr/local/cud/targets/x86_64-linux/lib

  • EFA 安裝程式：1.38.0

  • Nvidia GDRCopy：2.4.1

  • Nvidia 轉換器引擎：v1.11.0

  • AWS OFI NCCL：1.13.2-aws

    • 安裝路徑：/opt/aws-ofi-nccl/ 。路徑 /opt/aws-ofi-nccl/lib 已新增至 LD_LIBRARY_PATH。

    • 注意：PyTorch 套件隨附動態連結的 AWS OFI NCCL 外掛程式做為 conda 套件 aws-ofi-nccl-dlc 套件，而 PyTorch 將使用該套件，而不是系統 AWS OFI NCCL。

  • AWS CLI v2as aws2 和AWS CLI v1as aws

  • EBS 磁碟區類型：gp3

  • Python 版本：3.11

  • 使用 SSM 參數查詢 AMI-ID （範例區域為 us-east-1)：

    • OSS Nvidia 驅動程式：

      aws ssm get-parameter --region us-east-1 \
    --name /aws/service/deeplearning/ami/x86_64/oss-nvidia-driver-gpu-pytorch-2.6-ubuntu-22.04/latest/ami-id  \
    --query "Parameter.Value" \
    --output text

  • 使用 AWSCLI 查詢 AMI-ID （範例區域為 us-east-1)：

    • OSS Nvidia 驅動程式：

      aws ec2 describe-images --region us-east-1 \
    --owners amazon --filters 'Name=name,Values=Deep Learning OSS Nvidia Driver AMI GPU PyTorch 2.6.? (Ubuntu 22.04) ????????' 'Name=state,Values=available' \
    --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
    --output text

注意

Anaconda 頻道的 PyTorch 棄用

從 PyTorch2.6,Pytorch 已棄用對 Conda 的支援 （請參閱官方公告)。因此，Pytorch 2.6 及更高版本將移至使用 Python Virtual Environments。Tto 啟用 pytorch venv，請使用來源 /opt/pytorch/bin/activate

P5/P5e 執行個體：

  • DeviceIndex 對每個 NetworkCard 都是唯一的，而且必須是小於每個 NetworkCard ENIs 限制的非負整數。在 P5 上，每個 NetworkCard ENIs 數目為 2，這表示 DeviceIndex 的唯一有效值為 0 或 1。以下是使用 awscli 的 EC2 P5 執行個體啟動命令範例，將數字 0-31 的 NetworkCardIndex 和 DeviceIndex 顯示為 0，第一個界面的 DeviceIndex 顯示為 1，其餘 31 界面的 DeviceIndex 顯示為 1。

aws ec2 run-instances --region $REGION \
    --instance-type $INSTANCETYPE \
    --image-id $AMI --key-name $KEYNAME \
    --iam-instance-profile "Name=dlami-builder" \
    --tag-specifications "ResourceType=instance,Tags=[{Key=Name,Value=$TAG}]" \
    --network-interfaces "NetworkCardIndex=0,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=1,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=2,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=3,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=4,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      ...
      "NetworkCardIndex=31,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa"
核心

  • 核心版本使用 命令鎖定： 

    echo linux-aws hold | sudo dpkg —set-selections
echo linux-headers-aws hold | sudo dpkg —set-selections
echo linux-image-aws hold | sudo dpkg —set-selections

  • 我們建議使用者避免更新其核心版本 （除非因為安全修補程式），以確保與已安裝的驅動程式和套件版本相容。如果使用者仍想要更新，可以執行下列命令來取消鎖定其核心版本： 

    echo linux-aws install | sudo dpkg —set-selections
echo linux-headers-aws install | sudo dpkg —set-selections
echo linux-image-aws install | sudo dpkg —set-selections
apt-get upgrade -y

  • 對於每個新版本的 DLAMI，會使用最新的可用相容核心。

發行日期：2025-02-21

AMI 名稱：深度學習 OSS Nvidia 驅動程式 AMI GPU PyTorch 2.6.0 (Ubuntu 22.04) 20250220

已新增

  • Deep Learning AMI GPU PyTorch 2.6 (Ubuntu 22.04) 系列的初始版本。包含 Python 虛擬環境 pytorch (source /opt/pytorch/bin/activate)，搭配 NVIDIA 驅動程式 R570、CUDA=12.6、cuDNN=9.7、PyTorch NCCL=2.21.5 和 EFA=1.38.0。

    • 從 PyTorch2.6,Pytorch 已棄用對 Conda 的支援 （請參閱官方公告)。因此，Pytorch 2.6 及更高版本將移至使用 Python Virtual Environments。Tto 啟用 pytorch venv，請使用來源 /opt/pytorch/bin/activate 啟用