AWS Deep Learning ARM64 기본 GPU AMI(Amazon Linux 2)

• Deep Learning ARM64 Base OSS Nvidia 드라이버 GPU AMI(Amazon Linux 2) ${YYYY-MM-DD}

• G5g

• 지원되는 AWS 서비스: Amazon EC2

• 운영 체제: Amazon Linux 2

• 컴퓨팅 아키텍처: ARM64

• Linux 커널: 5.10

• NVIDIA 드라이버: 550.144.03

• NVIDIA CUDA12.1, 12.2, 12.3 스택:

  • CUDA, NCCL 및 cuDDN 설치 디렉터리:

    • 예: /usr/local/cuda-12.1/ , /usr/local/cuda-12.1/

  • 컴파일된 NCCL 버전:

    • 12.3의 CUDA 디렉터리의 경우 컴파일된 NCCL 버전 2.21.5+CUDA12.4

    • 12.1, 12.2의 CUDA 디렉터리의 경우 컴파일된 NCCL 버전 .18.5+CUDA12.2

  • 기본 CUDA: 12.1

    • PATH /usr/local/cuda는 CUDA 12.1을 가리킵니다.

    • 아래 env vars가 업데이트되었습니다.

      • LD_LIBRARY_PATH: have /usr/local/cuda-12.1/lib:/usr/local/cuda-12.1/lib64:/usr/local/cuda-12.1:/usr/local/cuda-12.1/targets/sbsa-linux/lib:/usr/local/cuda-12.1/nvm/lib64:/usr/local/cuda-12.1/extras/CUPTI/lib64

      • PATH는 /usr/local/cuda-12.1/bin/:/usr/local/cuda-12.1/include/

      • 다른 CUDA 버전의 경우 그에 따라 LD_LIBRARY_PATH를 업데이트하십시오.

• /usr/local/bin/awsAWS CLI 2의 v2와 /usr/bin/aws의 AWS CLI v1

• EBS 볼륨 유형: gp3

• Nvidia 컨테이너 툴킷: 1.16.2

  • 버전 명령: nvidia-container-cli -V

• Docker: 26.1.2

• Python: /usr/bin/python3.10

• SSM 파라미터를 사용하여 AMI-ID 쿼리(예: 리전은 us-east-1):

  SSM_PARAMETER=base-oss-nvidia-driver-gpu-amazon-linux-2/latest/ami-id \
      aws ssm get-parameter --region us-east-1 \
      --name /aws/service/deeplearning/ami/arm64/$SSM_PARAMETER  \
      --query "Parameter.Value" \
      --output text

• AWSCLI를 사용하여 AMI-ID 쿼리(예: 리전은 us-east-1):

  aws ec2 describe-images --region us-east-1 \
      -owners amazon \
      --filters 'Name=name,Values=Deep Learning ARM64 Base OSS Nvidia Driver GPU AMI (Amazon Linux 2) ????????' 'Name=state,Values=available' \
      --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
      --output text

커널

• 커널 버전은 명령을 사용하여 고정됩니다.

  sudo yum versionlock kernel*

• 설치된 드라이버 및 패키지 버전과의 호환성을 보장하기 위해 커널 버전을 업데이트하지 않는 것이 좋습니다(보안 패치로 인한 경우는 제외). 여전히 업데이트하려는 사용자는 다음 명령을 실행하여 커널 버전을 고정 해제할 수 있습니다.

  sudo yum versionlock delete kernel*
  sudo yum update -y

• DLAMI의 새 버전마다 사용 가능한 최신 호환 커널이 사용됩니다.

• NVIDIA Container Toolkit을 버전 1.17.3에서 버전 1.17.4로 업데이트했습니다.

  • 자세한 내용은 여기에서 릴리스 정보 페이지를 참조하세요.https://github.com/NVIDIA/nvidia-container-toolkit/releases/tag/v1.17.4

  • Container Toolkit 버전 1.17.4에서는 이제 CUDA compat 라이브러리 탑재가 비활성화되었습니다. 컨테이너 워크플로에서 여러 CUDA 버전과의 호환성을 보장하려면 CUDA 호환성 계층을 사용하는 경우 자습서에 표시된 대로 CUDA 호환성 라이브러리를 포함하도록 LD_LIBRARY_PATH를 업데이트해야 합니다.

• 2025년 2월 18일 NVIDIA CUDA 도구 키트 보안 공지에 있는 CVE를 해결하기 위해 NVIDIA CUDA 도구 키트에서 제공하는 사용자 공간 라이브러리 cuobj 및 nvdisasm 제거 CVEs

• 2025년 550.127.05월 NVIDIA GPU 디스플레이 드라이버 보안 공지에 있는 CVEs를 해결하기 위해 Nvidia 드라이버를 버전에서 550.144.03로 업그레이드했습니다.https://nvidia.custhelp.com/app/answers/detail/a_id/5614

• 2024년 550.90.070월 NVIDIA GPU 디스플레이 보안 공지에 있는 CVEs를 해결하기 위해 Nvidia 드라이버를 버전에서 550.127.05로 업그레이드했습니다.https://nvidia.custhelp.com/app/answers/detail/a_id/5586

• Nvidia 컨테이너 툴킷을 버전 1.16.1에서 1.16.2로 업그레이드하여 보안 취약성 해결CVE-2024-0133.

• Nvidia 드라이버 버전을 535.183.01에서 535.161.08로 업데이트했습니다.

• Amazon Linux 2용 Deep Learning ARM64 Base OSS DLAMI의 최초 릴리스