AWS 深度學習 AMI GPU PyTorch 2.6 (Amazon Linux 2023) - AWS 深度學習 AMIs
AMI 名稱格式支援的 EC2 執行個體：AMI 內容注意發行日期：2025-02-21

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

AWS 深度學習 AMI GPU PyTorch 2.6 (Amazon Linux 2023)

如需入門說明，請參閱 DLAMI 入門。

AMI 名稱格式

  • 深度學習 OSS NVIDIA 驅動程式 AMI GPU PyTorch 2.6.0 (Amazon Linux 2023) ${YYYY-MM-DD}

支援的 EC2 執行個體：

  • 請參閱 DLAMI 的重要變更

  • 搭配 OSS 的深度學習 NVIDIA 驅動程式支援 G4dn, G5, G6, Gr6, G6e, P4d, P4de, P5, P5e, P5en

AMI 包含下列項目：

  • 支援 AWS 的服務：EC2

  • 作業系統：Amazon Linux 2023

  • 運算架構：x86

  • NVIDIA CUDA12.6 堆疊：

    • CUDA、NCCL 和 cuDDN 安裝路徑：/usr/local/cuda-12.6/

    • 預設 CUDA：12.6

      • PATH /usr/local/cudapoints 到 /usr/local/cuda-12.6/

      • 已更新下列 env vars：

        • LD_LIBRARY_PATH 具有 /usr/local/cuda/lib：/usr/local/cuda/lib64：/usr/local/cuda：/usr/local/cud/targets/x86_64-linux/lib

        • 要讓 /usr/local/cuda/bin/：/usr/local/cuda/include/ 的 PATH

    • 12.6 的編譯 NCCL 版本：2.24.3

  • NCCL 測試位置：

    • all_reduce、all_gather 和 reduce_scatter：/usr/local/cuda-xx.x/efa/test-cuda-xx.x/

    • 若要執行 NCCL 測試，LD_LIBRARY_PATH 已使用所需的路徑更新。

      • 常見 PATHs已新增至 LD_LIBRARY_PATH：

        • /opt/amazon/efa/lib：/opt/amazon/openmpi/lib：/opt/aws-ofi-nccl/lib：/usr/local/lib：/usr/lib

      • LD_LIBRARY_PATH 已更新為 CUDA 版本路徑

        • /usr/local/cuda/lib：/usr/local/cuda/lib64：/usr/local/cuda：/usr/local/cud/targets/x86_64-linux/lib

  • EFA 安裝程式：1.38.0

  • Nvidia GDRCopy：2.4.1

  • AWS OFI NCCL：1.13.2-aws

    • AWS OFI NCCL 現在支援使用單一建置的多個 NCCL 版本

    • 安裝路徑：/opt/amazon/ofi-nccl/ 。路徑 /opt/amazon/ofi-nccl/lib 已新增至 LD_LIBRARY_PATH。

  • Python 版本：3.12

  • Python：/opt/pytorch/bin/python

  • NVIDIA 驅動程式：570.86.15

  • AWS CLI v2at /usr/bin/aws

  • EBS 磁碟區類型：gp3

  • NVMe 執行個體存放區位置 (在支援的 EC2 執行個體上）：/opt/dlami/nvme

  • 使用 SSM 參數查詢 AMI-ID （範例區域為 us-east-1)：

    • OSS Nvidia 驅動程式：

      aws ssm get-parameter --region us-east-1 \
    --name /aws/service/deeplearning/ami/x86_64/oss-nvidia-driver-gpu-pytorch-2.6-amazon-linux-2023/latest/ami-id  \
    --query "Parameter.Value" \
    --output text

  • 使用 AWSCLI 查詢 AMI-ID （區域範例為 us-east-1)：

    • OSS Nvidia 驅動程式：

      aws ec2 describe-images --region us-east-1 \
    --owners amazon --filters 'Name=name,Values=Deep Learning OSS Nvidia Driver AMI GPU PyTorch 2.6.? (Amazon Linux 2023) ????????' 'Name=state,Values=available' \
    --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
    --output text

注意

Anaconda 頻道的 PyTorch 棄用

從 PyTorch 2.6 開始，PyTorch 已棄用對 Conda 的支援 （請參閱官方公告)。因此，PyTorch 2.6 及更高版本將移至使用 Python Virtual Environments。若要啟用 PyTorch venv，請使用來源 /opt/pytorch/bin/activate P5/P5e 執行個體：

  • DeviceIndex 對每個 NetworkCard 都是唯一的，而且必須是小於每個 NetworkCard ENIs 限制的非負整數。在 P5 上，每個 NetworkCard ENIs 數目為 2，這表示 DeviceIndex 的唯一有效值為 0 或 1。以下是使用 awscli 的 EC2 P5 執行個體啟動命令範例，將數字 0-31 的 NetworkCardIndex 和 DeviceIndex 顯示為 0，第一個界面的 DeviceIndex 顯示為 1，其餘 31 界面的 DeviceIndex 顯示為 1。

aws ec2 run-instances --region $REGION \
    --instance-type $INSTANCETYPE \
    --image-id $AMI --key-name $KEYNAME \
    --iam-instance-profile "Name=dlami-builder" \
    --tag-specifications "ResourceType=instance,Tags=[{Key=Name,Value=$TAG}]" \
    --network-interfaces "NetworkCardIndex=0,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=1,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=2,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=3,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=4,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      ...
      "NetworkCardIndex=31,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa"
核心

  • 核心版本使用 命令鎖定： 

    sudo dnf versionlock kernel*

  • 我們建議使用者避免更新其核心版本 （除非因為安全修補程式），以確保與已安裝的驅動程式和套件版本相容。如果使用者仍想要更新，可以執行下列命令來取消鎖定其核心版本： 

    sudo dnf versionlock delete kernel*
sudo dnf update -y

  • 對於每個新版本的 DLAMI，會使用最新的可用相容核心。

發行日期：2025-02-21

AMI 名稱：深度學習 OSS Nvidia 驅動程式 AMI GPU PyTorch 2.6.0 (Amazon Linux 2023) 20250220

已新增

  • 適用於 Amazon Linux 2023 的 Deep Learning OSS Nvidia Driver AMI GPU PyTorch 2.6 初始版本

    • 自 PyTorch2.6,Pytorch 已棄用對 Conda 的支援。因此，Pytorch 2.6 及更高版本將移至使用 Python Virtual Environments。若要啟用 pytorch venv，請使用來源 /opt/pytorch/bin/activate