AWS AMI GPU di ARM64 base di deep learning (Ubuntu 22.04)

• AMI AMI GPU Nvidia Driver OSS Deep Learning ARM64 (Ubuntu 22.04) $ {YYYY-MM-DD}

• G5g, P6e- GB2 00 (CUDA>=12.8 è supportato su P6e- 00) GB2

• AWS Servizio supportato: Amazon EC2

• Sistema operativo: Ubuntu 22.04

• Architettura di calcolo: ARM64

• L'ultima versione disponibile è installata per i seguenti pacchetti:

  • Kernel Linux: 6. 8

  • FSx Lustro

  • Docker

  • AWS CLI v2 in/usr/bin/aws

  • NVIDIA DCGM

  • Toolkit per container Nvidia:

    • Comando di versione: -V nvidia-container-cli

  • Nvidia-docker2:

    • Comando di versione: versione nvidia-docker

• Driver NVIDIA: 570.158.01

• Pila NVIDIA CUDA 12.4, 12.5, 12.6, 12.8:

  • Directory di installazione CUDA, NCCL e cuDDN:/-xx.x/ usr/local/cuda

    • Esempiousr/local/cuda-12.8/ , /usr/local/cuda:/-12.8/

  • Versione NCCL compilata:

    • Per la directory CUDA 12.4, versione NCCL compilata 2.22.3+ .4 CUDA12

    • Per la directory CUDA 12.5, è stata compilata la versione NCCL 2.22.3+ .5 CUDA12

    • Per la directory CUDA 12.6, è stata compilata la versione NCCL 2.24.3+ .6 CUDA12

    • Per la directory CUDA 12.8, è stata compilata la versione NCCL 2.27.5+ .8 CUDA12

  • CUDA predefinito: 12.8

    • PATH/usr/local/cudapunta a CUDA 12.8

    • Aggiornato di seguito le variabili di ambiente:

      • LD_LIBRARY_PATH da avere/64 usr/local/cuda-12.8/lib:/usr/local/cuda-12.8/lib64:/usr/local/cuda-12.8:/usr/local/cuda-12.8/targets/sbsa-linux/lib:/usr/local/cuda-12.8/nvvm/lib64:/usr/local/cuda-12.8/extras/CUPTI/lib

      • PERCORSO da avere//usr/local/cuda-12.8/bin/:/usr/local/cuda-12.8/include

      • Per qualsiasi versione CUDA diversa, aggiorna LD_LIBRARY_PATH di conseguenza.

• Programma di installazione EFA: 1.42.0

• GDRCopyNvidia: 2.5.1

• AWS Il plugin OFI NCCL viene fornito con il programma di installazione EFA

  • I percorsi/opt/amazon/ofi-nccl/lib and /opt/amazon/ofi-nccl/efavengono aggiunti a LD_LIBRARY_PATH.

• AWS CLI v2 in/2 e v1 in/usr/local/bin/aws AWS CLI usr/bin/aws

• Tipo di volume EBS: gp3

• Python:/3.10 usr/bin/python

• Interroga l'AMI-ID con il parametro SSM (la regione di esempio è us-east-1):

  SSM_PARAMETER=base-oss-nvidia-driver-gpu-ubuntu-22.04/latest/ami-id \
      aws ssm get-parameter --region us-east-1 \
      --name /aws/service/deeplearning/ami/arm64/$SSM_PARAMETER  \
      --query "Parameter.Value" \
      --output text

• Interroga l'AMI-ID con AWSCLI (la regione di esempio è us-east-1):

  aws ec2 describe-images --region us-east-1 \
      --owners amazon --filters 'Name=name,Values=Deep Learning ARM64 Base OSS Nvidia Driver GPU AMI (Ubuntu 22.04) ????????' 'Name=state,Values=available' \
      --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
      --output text

Supporto Multi ENI

• Ubuntu 22.04 imposta e configura automaticamente il routing dei sorgenti su più server NICs tramite cloud-init all'avvio iniziale. Se il flusso di lavoro include gli attaching/detaching ENI mentre un'istanza è interrotta, è necessario aggiungere una configurazione aggiuntiva ai dati utente cloud-init per garantire la corretta configurazione delle NIC durante questi eventi. Di seguito viene fornito un esempio della configurazione cloud.

• Fai riferimento a questa documentazione Canonical qui per ulteriori informazioni su come configurare la configurazione cloud per le tue istanze - -/https://documentation.ubuntu.com/aws/en/latest/aws-how-to/instances/automaticallysetup-multiple-nics

Kernel

• La versione del kernel viene bloccata utilizzando il comando:

  echo linux-aws hold | sudo dpkg —set-selections
  echo linux-headers-aws hold | sudo dpkg —set-selections
  echo linux-image-aws hold | sudo dpkg —set-selections

• Consigliamo agli utenti di evitare di aggiornare la versione del kernel (a meno che non sia necessaria una patch di sicurezza) per garantire la compatibilità con i driver installati e le versioni dei pacchetti. Se gli utenti desiderano comunque effettuare l'aggiornamento, possono eseguire i seguenti comandi per sbloccare le versioni del kernel:

  echo linux-aws install | sudo dpkg -set-selections
  echo linux-headers-aws install | sudo dpkg -set-selections
  echo linux-image-aws install | sudo dpkg -set-selections

• Per ogni nuova versione di DLAMI, viene utilizzato il kernel compatibile più recente disponibile.

• È stato aggiunto il supporto all'istanza P6e- 00. EC2 GB2 Tieni presente che CUDA>=12.8 è supportato su P6e- 00 GB2

• Aggiungi EFA 1.42.0

• Driver Nvidia aggiornato dalla versione 570.133.20 alla 570.158.01

• Stack CUDA 12.8 aggiornato con NCCL 2.27.5

• Driver Nvidia aggiornato dalla versione 570.86.15 alla 570.133.20 per soddisfare i requisiti CVE presenti nel NVIDIA GPU Display Driver Security Bulletin di aprile 2025

• Stack CUDA 12.8 aggiornato con NCCL 2.26.2

• CUDA predefinito aggiornato da 12.6 a 12.8

• CUDA 12.3 rimosso

• Driver Nvidia da 550.144.03 a 570.86.15

• Il CUDA predefinito viene modificato da .1 a .6 CUDA12 CUDA12

• Directory CUDA di 12.4 con versione NCCL CUDA12 2.22.3+ .4 compilata e cuDNN 9.7.1.26

• Directory CUDA di 12.5 con versione NCCL CUDA12 2.22.3+ .5 compilata e cuDNN 9.7.1.26

• Directory CUDA di 12.6 con versione NCCL CUDA12 2.24.3+ .6 compilata e cuDNN 9.7.1.26

• Directory CUDA di 12.8 con versione NCCL CUDA12 2.25.1+ .8 compilata e cuDNN 9.7.1.26

• Directory CUDA 12.1 e 12.2

• Aggiornato NVIDIA Container Toolkit dalla versione 1.17.3 alla versione 1.17.4

  • Per ulteriori informazioni, consulta la pagina delle note di rilascio qui:/1.17.4 https://github.com/NVIDIA/ nvidia-container-toolkit releases/tag/v

  • Nella versione 1.17.4 di Container Toolkit, il montaggio delle librerie compatte CUDA è ora disabilitato. Per garantire la compatibilità con più versioni CUDA sui flussi di lavoro dei container, assicurati di aggiornare LD_LIBRARY_PATH per includere le tue librerie di compatibilità CUDA, come mostrato nel tutorial If you use a CUDA compatibility layer.

• Sono state rimosse le librerie di spazio utente cuobj e nvdisasm fornite dal toolkit NVIDIA CUDA e presenti nel NVIDIA CUDA Toolkit Security Bulletin del 18 febbraio 2025 CVEs

• Driver Nvidia aggiornato dalla versione 550.127.05 alla 550.144.03 come indicato nel NVIDIA GPU Display Driver Security Bulletin di gennaio 2025 CVEs

• Driver Nvidia aggiornato dalla versione 550.90.07 alla 550.127.05 all'indirizzo riportato nel NVIDIA GPU Display Security Bulletin di ottobre 2024 CVEs

• Versione del driver Nvidia aggiornata a 535.183.01 da 535.161.08

• Versione iniziale del Deep Learning ARM64 Base OSS DLAMI per Ubuntu 22.04