AWS AMI GPU di ARM64 base di deep learning (Amazon Linux 2023)

• AMI AMI GPU Nvidia Driver OSS di deep learning ARM64 (Amazon Linux 2023) $ {YYYY-MM-DD}

• G5g, P6e- GB2 00 (CUDA>=12.8 è supportato su P6e- 00) GB2

• AWS Servizio supportato: Amazon EC2

• Sistema operativo: Amazon Linux 2023

• Architettura di calcolo: ARM64

• L'ultima versione disponibile è installata per i seguenti pacchetti:

  • Kernel Linux: 6. 12

  • FSx Lustro

  • Docker

  • AWS CLI v2 in/usr/bin/aws

  • NVIDIA DCGM

  • Toolkit per container Nvidia:

    • Comando di versione: -V nvidia-container-cli

  • Nvidia-docker2:

    • Comando di versione: versione nvidia-docker

• Driver NVIDIA: 570.158.01

• Pila NVIDIA CUDA 12.4, 12.5, 12.6, 12.8:

  • Directory di installazione CUDA, NCCL e cuDDN:/-xx.x/ usr/local/cuda

    • Esempiousr/local/cuda-12.8/ , /usr/local/cuda:/-12.8/

  • Versione NCCL compilata:

    • Per la directory CUDA 12.4, versione NCCL compilata 2.22.3+ .4 CUDA12

    • Per la directory CUDA 12.5, è stata compilata la versione NCCL 2.22.3+ .5 CUDA12

    • Per la directory CUDA 12.6, è stata compilata la versione NCCL 2.24.3+ .6 CUDA12

    • Per la directory CUDA 12.8, è stata compilata la versione NCCL 2.27.5+ .8 CUDA12

  • CUDA predefinito: 12.8

    • PATH/usr/local/cudapunta a CUDA 12.8

    • Aggiornato di seguito le variabili di ambiente:

      • LD_LIBRARY_PATH da avere/64 usr/local/cuda-12.8/lib:/usr/local/cuda-12.8/lib64:/usr/local/cuda-12.8:/usr/local/cuda-12.8/targets/sbsa-linux/lib:/usr/local/cuda-12.8/nvvm/lib64:/usr/local/cuda-12.8/extras/CUPTI/lib

      • PERCORSO da avere//usr/local/cuda-12.8/bin/:/usr/local/cuda-12.8/include

      • Per qualsiasi versione CUDA diversa, aggiorna LD_LIBRARY_PATH di conseguenza.

• Programma di installazione EFA: 1.42.0

• GDRCopyNvidia: 2.5.1

• AWS Il plugin OFI NCCL viene fornito con il programma di installazione EFA

  • I percorsi/opt/amazon/ofi-nccl/lib and /opt/amazon/ofi-nccl/efavengono aggiunti a LD_LIBRARY_PATH.

• AWS CLI v2 in/usr/local/bin/aws

• Tipo di volume EBS: gp3

• Python:/3.9 usr/bin/python

• Interroga l'AMI-ID con il parametro SSM (la regione di esempio è us-east-1):

  SSM_PARAMETER=base-oss-nvidia-driver-gpu-amazon-linux-2023/latest/ami-id \
      aws ssm get-parameter --region us-east-1 \
      --name /aws/service/deeplearning/ami/arm64/$SSM_PARAMETER  \
      --query "Parameter.Value" \
      --output text

• Interroga l'AMI-ID con AWSCLI (la regione di esempio è us-east-1):

  aws ec2 describe-images --region us-east-1 --owners amazon --filters 'Name=name,Values=Deep Learning ARM64 Base OSS Nvidia Driver GPU AMI (Amazon Linux 2023) ????????' 'Name=state,Values=available' --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' --output text

Kernel

• La versione del kernel viene bloccata utilizzando il comando:

  sudo dnf versionlock kernel*

• Consigliamo agli utenti di evitare di aggiornare la versione del kernel (a meno che non sia necessaria una patch di sicurezza) per garantire la compatibilità con i driver installati e le versioni dei pacchetti. Se gli utenti desiderano comunque effettuare l'aggiornamento, possono eseguire i seguenti comandi per sbloccare le versioni del kernel:

  sudo dnf versionlock delete kernel*
  sudo dnf update -y

• Per ogni nuova versione di DLAMI, viene utilizzato il kernel compatibile più recente disponibile.

• È stato aggiunto il supporto all'istanza P6e- EC2 00. GB2 Tieni presente che CUDA>=12.8 è supportato su P6e- 00 GB2

• Aggiungi EFA 1.42.0

• Driver Nvidia aggiornato dalla versione 570.133.20 alla 570.158.01

• Stack CUDA 12.8 aggiornato con NCCL 2.27.5

• Driver Nvidia aggiornato dalla versione 570.86.15 alla 570.133.20 all'indirizzo riportato nel NVIDIA GPU Display Driver Security Bulletin di aprile 2025 CVEs

• CUDA12Stack 8.8 aggiornato con NCCL 2.26.2

• CUDA predefinito aggiornato da 12.6 a 12.8

• Driver Nvidia aggiornato dalla versione 570.124.06 alla 570.133.20 in base all'indirizzo riportato nel NVIDIA GPU Display Driver Security Bulletin di aprile 2025 CVEs

• Versione del kernel aggiornata dalla 6.1 alla 6.12

• Driver Nvidia da 550.144.03 a 570.86.15

• Il CUDA predefinito viene modificato da .4 a .6 CUDA12 CUDA12

• Directory CUDA di 12.5 con versione NCCL CUDA12 2.22.3+ .5 compilata e cuDNN 9.7.1.26

• Directory CUDA di 12.6 con versione NCCL CUDA12 2.24.3+ .6 compilata e cuDNN 9.7.1.26

• Directory CUDA di 12.8 con versione NCCL CUDA12 2.25.1+ .8 compilata e cuDNN 9.7.1.26

• Versione iniziale di Deep Learning ARM64 Base OSS DLAMI per Amazon Linux 2023