AWS Deep Learning ARM64 Base GPU AMI(Amazon Linux 2023)

• Deep Learning ARM64 Base OSS Nvidia 드라이버 GPU AMI(Amazon Linux 2023) ${YYYY-MM-DD}

• G5g, P6e-GB200(CUDA>=12.8은 P6e-GB200에서 지원됨)

• 지원되는 AWS 서비스: Amazon EC2

• 운영 체제: Amazon Linux 2023

• 컴퓨팅 아키텍처: ARM64

• 다음 패키지에 사용할 수 있는 최신 버전이 설치됩니다.

  • Linux 커널: 6.12

  • FSx Lustre

  • Docker

  • /usr/bin/aws의 AWS CLI v2

  • NVIDIA DCGM

  • Nvidia 컨테이너 툴킷:

    • 버전 명령: nvidia-container-cli -V

  • Nvidia-docker2:

    • 버전 명령: nvidia-docker 버전

• NVIDIA 드라이버: 570.158.01

• NVIDIA CUDA 12.4, 12.5, 12.6, 12.8 스택:

  • CUDA, NCCL 및 cuDDN 설치 디렉터리: /usr/local/cuda-xx.x/

    • 예: /usr/local/cuda-12.8/ , /usr/local/cuda-12.8/

  • 컴파일된 NCCL 버전:

    • 12.4의 CUDA 디렉터리의 경우 컴파일된 NCCL 버전 2.22.3+CUDA12.4

    • 12.5의 CUDA 디렉터리의 경우 컴파일된 NCCL 버전 2.22.3+CUDA12.5

    • 12.6의 CUDA 디렉터리의 경우 컴파일된 NCCL 버전 2.24.3+CUDA12.6

    • 12.8의 CUDA 디렉터리의 경우 컴파일된 NCCL 버전 2.27.5+CUDA12.8

  • 기본 CUDA: 12.8

    • PATH /usr/local/cuda는 CUDA 12.8을 가리킵니다.

    • 아래 env vars가 업데이트되었습니다.

      • LD_LIBRARY_PATH: have /usr/local/cuda-12.8/lib:/usr/local/cuda-12.8/lib64:/usr/local/cuda-12.8:/usr/local/cuda-12.8/targets/sbsa-linux/lib:/usr/local/cuda-12.8/nvm/lib64:/usr/local/cuda-12.8/extras/CUPTI/lib64

      • PATH에 /usr/local/cuda-12.8/bin/:/usr/local/cuda-12.8/include/

      • 다른 CUDA 버전의 경우 그에 따라 LD_LIBRARY_PATH를 업데이트하십시오.

• EFA 설치 관리자: 1.42.0

• Nvidia GDRCopy: 2.5.1

• AWS OFI NCCL 플러그인은 EFA 설치 프로그램과 함께 제공됩니다.

  • /opt/amazon/ofi-nccl/lib 및 /opt/amazon/ofi-nccl/efa 경로가 LD_LIBRARY_PATH에 추가됩니다.

• /usr/local/bin/aws의 AWS CLI v2

• EBS 볼륨 유형: gp3

• Python: /usr/bin/python3.9

• SSM 파라미터를 사용하여 AMI-ID 쿼리(예제 리전은 us-east-1):

  SSM_PARAMETER=base-oss-nvidia-driver-gpu-amazon-linux-2023/latest/ami-id \
      aws ssm get-parameter --region us-east-1 \
      --name /aws/service/deeplearning/ami/arm64/$SSM_PARAMETER  \
      --query "Parameter.Value" \
      --output text

• AWSCLI를 사용하여 AMI-ID 쿼리(예제 리전은 us-east-1):

  aws ec2 describe-images --region us-east-1 --owners amazon --filters 'Name=name,Values=Deep Learning ARM64 Base OSS Nvidia Driver GPU AMI (Amazon Linux 2023) ????????' 'Name=state,Values=available' --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' --output text

커널

• 커널 버전은 명령을 사용하여 고정됩니다.

  sudo dnf versionlock kernel*

• 설치된 드라이버 및 패키지 버전과의 호환성을 보장하기 위해 커널 버전을 업데이트하지 않는 것이 좋습니다(보안 패치로 인한 경우는 제외). 여전히 업데이트하려는 사용자는 다음 명령을 실행하여 커널 버전을 고정 해제할 수 있습니다.

  sudo dnf versionlock delete kernel*
  sudo dnf update -y

• DLAMI의 각 새 버전에 대해 사용 가능한 최신 호환 커널이 사용됩니다.

• EC2 인스턴스 P6e-GB200에 대한 지원이 추가되었습니다. CUDA>=12.8은 P6e-GB200에서 지원됩니다.

• EFA 1.42.0 추가

• 버전 570.133.20에서 570.158.01로 Nvidia 드라이버 업그레이드

• NCCL 2.27.5로 CUDA 12.8 스택 업그레이드

• 2025년 4월 NVIDIA GPU 디스플레이 드라이버 보안 공지에 있는 CVEs를 해결하기 위해 Nvidia 드라이버를 버전 570.86.15에서 570.133.20로 업그레이드했습니다. https://nvidia.custhelp.com/app/answers/detail/a_id/5630

• NCCL 2.26.2로 CUDA12.8 스택 업데이트

• 기본 CUDA를 12.6에서 12.8로 업데이트했습니다.

• 2025년 4월 NVIDIA GPU 디스플레이 드라이버 보안 공지에 있는 CVEs를 해결하기 위해 Nvidia 드라이버를 버전 570.124.06에서 570.133.20로 업그레이드했습니다. https://nvidia.custhelp.com/app/answers/detail/a_id/5630

• 커널 버전이 6.1에서 6.12로 업데이트됨

• 550.144.03에서 570.86.15까지의 Nvidia 드라이버

• 기본 CUDA가 CUDA12.4에서 CUDA12.6으로 변경되었습니다.

• 컴파일된 NCCL 버전 2.22.3+CUDA12.5 및 CuDNN 9.7.1.26이 포함된 1CUDA12 디렉터리

• 컴파일된 NCCL 버전 2.24.3+CUDA12.6 및 CuDNN 9.7.1.26이 포함된 1CUDA12 디렉터리

• 컴파일된 NCCL 버전 2.25.1+CUDA12.8 및 CuDNN 9.7.1.26이 포함된 CUDA12 디렉터리

• Amazon Linux 2023용 Deep Learning ARM64 Base OSS DLAMI의 최초 릴리스