기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
AWS Deep Learning ARM64 Base GPU AMI(Amazon Linux 2023)
시작하는 데 도움이 필요하면 섹션을 참조하세요DLAMI 시작하기.
AMI 이름 형식
Deep Learning ARM64 Base OSS Nvidia 드라이버 GPU AMI(Amazon Linux 2023) ${YYYY-MM-DD}
지원되는 EC2 인스턴스
G5g, P6e-GB200(CUDA>=12.8은 P6e-GB200에서 지원됨)
AMI에는 다음이 포함됩니다.
지원되는 AWS 서비스: Amazon EC2
운영 체제: Amazon Linux 2023
컴퓨팅 아키텍처: ARM64
다음 패키지에 사용할 수 있는 최신 버전이 설치됩니다.
Linux 커널: 6.12
FSx Lustre
Docker
/usr/bin/aws의 AWS CLI v2
NVIDIA DCGM
Nvidia 컨테이너 툴킷:
버전 명령: nvidia-container-cli -V
Nvidia-docker2:
버전 명령: nvidia-docker 버전
NVIDIA 드라이버: 570.158.01
NVIDIA CUDA 12.4, 12.5, 12.6, 12.8 스택:
CUDA, NCCL 및 cuDDN 설치 디렉터리: /usr/local/cuda-xx.x/
예: /usr/local/cuda-12.8/ , /usr/local/cuda-12.8/
컴파일된 NCCL 버전:
12.4의 CUDA 디렉터리의 경우 컴파일된 NCCL 버전 2.22.3+CUDA12.4
12.5의 CUDA 디렉터리의 경우 컴파일된 NCCL 버전 2.22.3+CUDA12.5
12.6의 CUDA 디렉터리의 경우 컴파일된 NCCL 버전 2.24.3+CUDA12.6
12.8의 CUDA 디렉터리의 경우 컴파일된 NCCL 버전 2.27.5+CUDA12.8
기본 CUDA: 12.8
PATH /usr/local/cuda는 CUDA 12.8을 가리킵니다.
-
아래 env vars가 업데이트되었습니다.
LD_LIBRARY_PATH: have /usr/local/cuda-12.8/lib:/usr/local/cuda-12.8/lib64:/usr/local/cuda-12.8:/usr/local/cuda-12.8/targets/sbsa-linux/lib:/usr/local/cuda-12.8/nvm/lib64:/usr/local/cuda-12.8/extras/CUPTI/lib64
PATH에 /usr/local/cuda-12.8/bin/:/usr/local/cuda-12.8/include/
다른 CUDA 버전의 경우 그에 따라 LD_LIBRARY_PATH를 업데이트하십시오.
EFA 설치 관리자: 1.42.0
Nvidia GDRCopy: 2.5.1
AWS OFI NCCL 플러그인은 EFA 설치 프로그램과 함께 제공됩니다.
/opt/amazon/ofi-nccl/lib 및 /opt/amazon/ofi-nccl/efa 경로가 LD_LIBRARY_PATH에 추가됩니다.
/usr/local/bin/aws의 AWS CLI v2
EBS 볼륨 유형: gp3
Python: /usr/bin/python3.9
SSM 파라미터를 사용하여 AMI-ID 쿼리(예제 리전은 us-east-1):
SSM_PARAMETER=base-oss-nvidia-driver-gpu-amazon-linux-2023/latest/ami-id \ aws ssm get-parameter --region
us-east-1
\ --name /aws/service/deeplearning/ami/arm64/$SSM_PARAMETER \ --query "Parameter.Value" \ --output textAWSCLI를 사용하여 AMI-ID 쿼리(예제 리전은 us-east-1):
aws ec2 describe-images --region us-east-1 --owners amazon --filters 'Name=name,Values=Deep Learning ARM64 Base OSS Nvidia Driver GPU AMI (Amazon Linux 2023) ????????' 'Name=state,Values=available' --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' --output text
P6e-GB200 인스턴스
P6e-GB200 인스턴스에는 17개의 네트워크 인터페이스 카드가 포함되어 있으며 다음 AWS CLI 명령을 사용하여 시작할 수 있습니다.
aws ec2 run-instances --region $REGION \ --instance-type $INSTANCETYPE \ --image-id $AMI --key-name $KEYNAME \ --iam-instance-profile "Name=dlami-builder" \ --tag-specifications "ResourceType=instance,Tags=[{Key=Name,Value=$TAG}]" \ --network-interfaces \ "NetworkCardIndex=0,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=interface" \ "NetworkCardIndex=1,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=2,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=3,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=4,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=5,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=6,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=7,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=8,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=9,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=10,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=11,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=12,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=13,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=14,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=15,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only" \ "NetworkCardIndex=16,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa-only"
고지 사항
NVIDIA 컨테이너 툴킷 1.17.4
Container Toolkit 버전 1.17.4에서는 이제 CUDA compat 라이브러리 탑재가 비활성화되었습니다. 컨테이너 워크플로에서 여러 CUDA 버전과의 호환성을 보장하려면 CUDA 호환성 계층을 사용하는 경우 자습서와 같이 CUDA 호환성 라이브러리를 포함하도록 LD_LIBRARY_PATH를 업데이트해야 합니다.
지원 정책
CUDA 버전과 같은이 AMIs의 이러한 AMI 구성 요소는 프레임워크 지원 정책에 따라 또는 딥 러닝 컨테이너
커널
커널 버전은 명령을 사용하여 고정됩니다.
sudo dnf versionlock kernel*
설치된 드라이버 및 패키지 버전과의 호환성을 보장하기 위해 커널 버전을 업데이트하지 않는 것이 좋습니다(보안 패치로 인한 경우는 제외). 여전히 업데이트하려는 사용자는 다음 명령을 실행하여 커널 버전을 고정 해제할 수 있습니다.
sudo dnf versionlock delete kernel* sudo dnf update -y
DLAMI의 각 새 버전에 대해 사용 가능한 최신 호환 커널이 사용됩니다.
릴리스 날짜: 2025-07-04
AMI 이름: Deep Learning ARM64 Base OSS Nvidia Driver GPU AMI(Amazon Linux 2023) 20250704
Updated
EC2 인스턴스 P6e-GB200에 대한 지원이 추가되었습니다. CUDA>=12.8은 P6e-GB200에서 지원됩니다.
EFA 1.42.0 추가
버전 570.133.20에서 570.158.01로 Nvidia 드라이버 업그레이드
NCCL 2.27.5로 CUDA 12.8 스택 업그레이드
릴리스 날짜: 2025-04-24
AMI 이름: Deep Learning ARM64 Base OSS Nvidia Driver GPU AMI(Amazon Linux 2023) 20250424
Updated
2025년 4월 NVIDIA GPU 디스플레이 드라이버 보안 공지에 있는 CVEs를 해결하기 위해 Nvidia 드라이버를 버전 570.86.15에서 570.133.20로 업그레이드했습니다. https://nvidia.custhelp.com/app/answers/detail/a_id/5630
NCCL 2.26.2로 CUDA12.8 스택 업데이트
기본 CUDA를 12.6에서 12.8로 업데이트했습니다.
릴리스 날짜: 2025-04-22
AMI 이름: Deep Learning ARM64 Base OSS Nvidia Driver GPU AMI(Amazon Linux 2023) 20250421
Updated
2025년 4월 NVIDIA GPU 디스플레이 드라이버 보안 공지에 있는 CVEs를 해결하기 위해 Nvidia 드라이버를 버전 570.124.06에서 570.133.20로 업그레이드했습니다. https://nvidia.custhelp.com/app/answers/detail/a_id/5630
릴리스 날짜: 2025-04-04
AMI 이름: Deep Learning ARM64 Base OSS Nvidia Driver GPU AMI(Amazon Linux 2023) 20250404
Updated
커널 버전이 6.1에서 6.12로 업데이트됨
릴리스 날짜: 2025-03-03
AMI 이름: Deep Learning ARM64 Base OSS Nvidia Driver GPU AMI(Amazon Linux 2023) 20250303
Updated
550.144.03에서 570.86.15까지의 Nvidia 드라이버
기본 CUDA가 CUDA12.4에서 CUDA12.6으로 변경되었습니다.
추가됨
컴파일된 NCCL 버전 2.22.3+CUDA12.5 및 CuDNN 9.7.1.26이 포함된 1CUDA12 디렉터리
컴파일된 NCCL 버전 2.24.3+CUDA12.6 및 CuDNN 9.7.1.26이 포함된 1CUDA12 디렉터리
컴파일된 NCCL 버전 2.25.1+CUDA12.8 및 CuDNN 9.7.1.26이 포함된 CUDA12 디렉터리
릴리스 날짜: 2025-02-14
AMI 이름: Deep Learning ARM64 Base OSS Nvidia Driver GPU AMI(Amazon Linux 2023) 20250214
추가됨
Amazon Linux 2023용 Deep Learning ARM64 Base OSS DLAMI의 최초 릴리스