AWS Deep Learning Base GPU AMI(Ubuntu 24.04) - AWS Deep Learning AMIs
AMI 이름 형식지원되는 EC2 인스턴스AMI 콘텐츠고지 사항릴리스 날짜: 2025-05-22릴리스 날짜: 2025-05-13

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

AWS Deep Learning Base GPU AMI(Ubuntu 24.04)

시작하는 데 도움이 필요하면 섹션을 참조하세요DLAMI 시작하기.

AMI 이름 형식

  • Deep Learning Base OSS Nvidia 드라이버 GPU AMI(Ubuntu 24.04) ${YYYY-MM-DD}

지원되는 EC2 인스턴스

  • DLAMI에 대한 중요 변경 사항을 참조하세요.

  • OSS Nvidia 드라이버를 사용한 딥 러닝은 G4dn, G5, G6, Gr6, G6e, P4d, P4de, P5, P5e, P5en, P6-B200을 지원합니다.

AMI에는 다음이 포함됩니다.

  • 지원되는 AWS 서비스: Amazon EC2

  • 운영 체제: Ubuntu 24.04

  • 컴퓨팅 아키텍처: x86

  • 다음 패키지에 사용할 수 있는 최신 버전이 설치됩니다.

    • Linux 커널: 6.8

    • FSx Lustre

    • Docker

    • /usr/bin/aws의 AWS CLI v2

    • NVIDIA DCGM

    • Nvidia 컨테이너 툴킷:

      • 버전 명령: nvidia-container-cli -V

    • Nvidia-docker2:

      • 버전 명령: nvidia-docker 버전

  • NVIDIA 드라이버: 570.133.20

  • NVIDIA CUDA12.6 및 12.8 스택:

    • CUDA, NCCL 및 cuDDN 설치 디렉터리: /usr/local/cuda-xx.x/

      • 예: /usr/local/cuda-12.8/ , /usr/local/cuda-12.8/

    • 컴파일된 NCCL 버전: 2.25.1

    • 기본 CUDA: 12.8

      • PATH /usr/local/cuda는 CUDA 12.8을 가리킵니다.

      • 아래 env vars가 업데이트되었습니다.

        • LD_LIBRARY_PATH: have /usr/local/cuda-12.8/lib:/usr/local/cuda-12.8/lib64:/usr/local/cuda-12.8:/usr/local/cuda-12.8/targets/sbsa-linux/lib:/usr/local/cuda-12.8/nvm/lib64:/usr/local/cuda-12.8/extras/CUPTI/lib64

        • PATH에 /usr/local/cuda-12.8/bin/:/usr/local/cuda-12.8/include/

        • 다른 CUDA 버전의 경우 그에 따라 LD_LIBRARY_PATH를 업데이트하십시오.

  • EFA 설치 관리자: 1.40.0

  • Nvidia GDRCopy: 2.5.1

  • AWS OFI NCCL: 1.14.2-aws

    • 설치 경로: /opt/amazon/ofi-nccl/ . /opt/amazon/ofi-nccl/lib 경로가 LD_LIBRARY_PATH에 추가됩니다.

  • /usr/bin/aws의 AWS CLI v2

  • EBS 볼륨 유형: gp3

  • Python: /usr/bin/python3.12

  • NVMe 인스턴스 스토어 위치(지원되는 EC2 인스턴스): /opt/dlami/nvme

  • SSM 파라미터를 사용하여 AMI-ID 쿼리(예: 리전은 us-east-1):

    • OSS Nvidia 드라이버:

      aws ssm get-parameter --region us-east-1 \
    --name /aws/service/deeplearning/ami/x86_64/base-oss-nvidia-driver-gpu-ubuntu-24.04/latest/ami-id \
    --query "Parameter.Value" \
    --output text

  • AWSCLI를 사용하여 AMI-ID 쿼리(예: 리전은 us-east-1):

    • OSS Nvidia 드라이버:

      aws ec2 describe-images --region us-east-1 \
    --owners amazon \
    --filters 'Name=name,Values=Deep Learning Base OSS Nvidia Driver GPU AMI (Ubuntu 24.04) ????????' 'Name=state,Values=available' \
    --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
    --output text

고지 사항

지원 정책

CUDA 버전과 같은이 AMIs의 이러한 AMI 구성 요소는 프레임워크 지원 정책에 따라 또는 딥 러닝 컨테이너의 성능을 최적화하거나 향후 릴리스에서 AMI 크기를 줄이기 위해 사전 공지 없이 제거 및 변경할 수 있습니다. 지원되는 프레임워크 버전에서 CUDA 버전을 사용하지 않는 경우 AMIs에서 CUDA 버전을 제거합니다.

여러 네트워크 카드가 있는 EC2 인스턴스

  • EFA를 지원하는 많은 인스턴스 유형에는 여러 네트워크 카드도 있습니다.

  • DeviceIndex는 각 네트워크 카드마다 고유하며 NetworkCard당 ENIs 한도보다 작은 음수가 아닌 정수여야 합니다. P5에서 NetworkCard당 ENIs 수는 2입니다. 즉, DeviceIndex에 유효한 유일한 값은 0 또는 1입니다.

    • 기본 네트워크 인터페이스(네트워크 카드 인덱스 0, 디바이스 인덱스 0)의 경우 EFA(EFA with ENA) 인터페이스를 생성합니다. EFA 전용 네트워크 인터페이스를 기본 네트워크 인터페이스로 사용할 수 없습니다.

    • 각 추가 네트워크 인터페이스에 대해 다음 미사용 네트워크 카드 인덱스, 디바이스 인덱스 1, ENA 대역폭 요구 사항 또는 IP 주소 공간과 같은 사용 사례에 따라 EFA(EFA with ENA) 또는 EFA 전용 네트워크 인터페이스를 사용합니다. 예제 사용 사례는 P5 인스턴스에 대한 EFA 구성을 참조하세요.

    • 자세한 내용은 여기의 EFA 가이드를 참조하세요.

P6-B200 인스턴스

P6-B200 인스턴스에는 8개의 네트워크 인터페이스 카드가 포함되어 있으며 다음 AWS CLI 명령을 사용하여 시작할 수 있습니다.

aws ec2 run-instances --region $REGION \
    --instance-type $INSTANCETYPE \
    --image-id $AMI --key-name $KEYNAME \
    --iam-instance-profile "Name=dlami-builder" \
    --tag-specifications "ResourceType=instance,Tags=[{Key=Name,Value=$TAG}]" \
    --network-interfaces "NetworkCardIndex=0,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=1,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=2,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=3,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=4,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=5,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=6,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=7,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa"
P5en 인스턴스

P5en에는 16개의 네트워크 인터페이스 카드가 포함되어 있으며 다음 AWS CLI 명령을 사용하여 시작할 수 있습니다.

aws ec2 run-instances --region $REGION \
    --instance-type $INSTANCETYPE \
    --image-id $AMI --key-name $KEYNAME \
    --iam-instance-profile "Name=dlami-builder" \
    --tag-specifications "ResourceType=instance,Tags=[{Key=Name,Value=$TAG}]" \
    --network-interfaces "NetworkCardIndex=0,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=1,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=2,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=3,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=4,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      ...
      "NetworkCardIndex=15,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa"
P5/P5e 인스턴스

P5 및 P5e 인스턴스에는 32개의 네트워크 인터페이스 카드가 포함되어 있으며 다음 AWS CLI 명령을 사용하여 시작할 수 있습니다.

aws ec2 run-instances --region $REGION \
    --instance-type $INSTANCETYPE \
    --image-id $AMI --key-name $KEYNAME \
    --iam-instance-profile "Name=dlami-builder" \
    --tag-specifications "ResourceType=instance,Tags=[{Key=Name,Value=$TAG}]" \
    --network-interfaces "NetworkCardIndex=0,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
     "NetworkCardIndex=1,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
     "NetworkCardIndex=2,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
     "NetworkCardIndex=3,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
     "NetworkCardIndex=4,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
     ...
     "NetworkCardIndex=31,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa"
커널

  • 커널 버전은 명령을 사용하여 고정됩니다.

    echo linux-aws hold | sudo dpkg —set-selections
echo linux-headers-aws hold | sudo dpkg —set-selections
echo linux-image-aws hold | sudo dpkg —set-selections

  • 설치된 드라이버 및 패키지 버전과의 호환성을 보장하기 위해 커널 버전을 업데이트하지 않는 것이 좋습니다(보안 패치로 인한 경우는 제외). 여전히 업데이트하려는 사용자는 다음 명령을 실행하여 커널 버전을 고정 해제할 수 있습니다.

    echo linux-aws install | sudo dpkg -set-selections
echo linux-headers-aws install | sudo dpkg -set-selections
echo linux-image-aws install | sudo dpkg -set-selections

  • DLAMI의 새 버전마다 사용 가능한 최신 호환 커널이 사용됩니다.

릴리스 날짜: 2025-05-22

AMI 이름: Deep Learning Base OSS Nvidia 드라이버 GPU AMI(Ubuntu 24.04) 20250522

추가됨

Updated

  • 버전 1.40.0에서 1.41.0으로 EFA 설치 관리자 업그레이드

  • 컴파일된 NCCL 버전을 버전 2.25.1에서 2.26.5로 업데이트

  • Nvidia DCGM 버전을 3.3.9에서 4.4.3으로 업데이트했습니다.

릴리스 날짜: 2025-05-13

AMI 이름: Deep Learning Base OSS Nvidia Driver GPU AMI(Ubuntu 24.04) 20250513

추가됨

  • Ubuntu 24.04용 Deep Learning Base OSS DLAMI의 최초 릴리스