AWS AMI GPU di base di deep learning (Ubuntu 22.04)

• AMI AMI GPU Nvidia Driver OSS Deep Learning (Ubuntu 22.04) $ {YYYY-MM-DD}

• Consulta la sezione Modifiche importanti a DLAMI.

• Deep Learning con OSS Il driver Nvidia supporta G4dn, G5, G6, Gr6, G6e, P4d, P4de, P5, P5e, P6-B200.

• AWS Servizio supportato: Amazon EC2

• Sistema operativo: Ubuntu 22.04

• Architettura di calcolo: x86

• L'ultima versione disponibile è installata per i seguenti pacchetti:

  • Kernel Linux: 6. 8

  • FSx Lustro

  • Docker

  • AWS CLI v2 in/usr/local/bin/aws2 e AWS CLI v1 in/usr/bin/aws

  • NVIDIA DCGM

  • Toolkit per container Nvidia:

    • Comando di versione: -V nvidia-container-cli

  • Nvidia-docker2:

    • Comando di versione: versione nvidia-docker

• Driver NVIDIA: 570.133.20

• Stack NVIDIA CUDA 12.4-12.6 e 12.8:

  • Directory di installazione CUDA, NCCL e cudDN:/-xx.x/ usr/local/cuda

    • Esempiousr/local/cuda-12.8/ , /usr/local/cuda:/-12.8/

  • Versione NCCL compilata: 2.26.5

  • CUDA predefinito: 12.8

    • PATH/usr/local/cudapunta a CUDA 12.8

    • Aggiornato di seguito le variabili di ambiente:

      • LD_LIBRARY_PATH da avere/64 usr/local/cuda-12.8/lib:/usr/local/cuda-12.8/lib64:/usr/local/cuda-12.8:/usr/local/cuda-12.8/targets/x86_64-linux/lib:/usr/local/cuda-12.8/extras/CUPTI/lib

      • PERCORSO da avere//usr/local/cuda-12.8/bin/:/usr/local/cuda-12.8/include

      • Per qualsiasi versione CUDA diversa, aggiorna LD_LIBRARY_PATH di conseguenza.

• Programma di installazione EFA: 1.40.0

• GDRCopyNvidia: 2.5

• AWS OFI NCCL: 1.14.2-aws

  • Il percorso di installazione:/viene aggiunto a LD_LIBRARY_PATH. opt/amazon/ofi-nccl/ . Path /opt/amazon/ofi-nccl/lib

• AWS CLI v2 in/2 e v1 in/usr/local/bin/aws AWS CLI usr/bin/aws

• Tipo di volume EBS: gp3

• Python:/3.10 usr/bin/python

• NVMe Posizione dell'archivio delle istanze (sulle EC2 istanze supportate):/opt/dlami/nvme

• Interroga l'AMI-ID con il parametro SSM (la regione di esempio è us-east-1):

  • Driver OSS Nvidia:

    aws ssm get-parameter --region us-east-1 \
        --name /aws/service/deeplearning/ami/x86_64/base-oss-nvidia-driver-gpu-ubuntu-22.04/latest/ami-id \
        --query "Parameter.Value" \
        --output text

• Interroga l'AMI-ID con AWSCLI (la regione di esempio è us-east-1):

  • Driver OSS Nvidia:

    aws ec2 describe-images --region us-east-1 \
          --owners amazon \
          --filters 'Name=name,Values=Deep Learning Base OSS Nvidia Driver GPU AMI (Ubuntu 22.04) ????????' 'Name=state,Values=available' \
          --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
          --output text

Supporto Multi ENI

• Ubuntu 22.04 imposta e configura automaticamente il routing dei sorgenti su più server NICss utilizzando cloud-init all'avvio iniziale. Se il flusso di lavoro include attaching/detaching l'interruzione di un'istanza, è necessario aggiungere una configurazione aggiuntiva ai dati utente cloud-init per garantire la corretta configurazione delle NIC ENIs durante questi eventi. Di seguito viene fornito un esempio della configurazione cloud.

• Fai riferimento a questa documentazione Canonical qui per ulteriori informazioni su come configurare la configurazione cloud per le tue istanze - -/https://documentation.ubuntu.com/aws/en/latest/aws-how-to/instances/automaticallysetup-multiple-nics

EC2 istanze con più schede di rete

• Molti tipi di istanze che supportano EFA hanno anche più schede di rete.

• DeviceIndex è univoca per ogni scheda di rete e deve essere un numero intero non negativo inferiore al limite di per. ENIs NetworkCard In P5, il numero di ENIs per NetworkCard è 2, il che significa che gli unici valori validi per DeviceIndex sono 0 o 1.

  • Per l'interfaccia di rete principale (indice della scheda di rete 0, indice del dispositivo 0), crea un'interfaccia EFA (EFA con ENA). Non è possibile utilizzare un'interfaccia di rete solo EFA come interfaccia di rete principale.

  • Per ogni interfaccia di rete aggiuntiva, utilizzate l'indice della scheda di rete non utilizzata successiva, l'indice 1 del dispositivo, e un'interfaccia di rete EFA (EFA con ENA) o solo EFA, a seconda del caso d'uso, ad esempio i requisiti di larghezza di banda ENA o lo spazio degli indirizzi IP. Per esempi di casi d'uso, consulta la configurazione EFA per le istanze P5.

  • Per ulteriori informazioni, consulta la guida EFA qui.

Kernel

• La versione del kernel viene bloccata utilizzando il comando:

  echo linux-aws hold | sudo dpkg —set-selections
  echo linux-headers-aws hold | sudo dpkg —set-selections
  echo linux-image-aws hold | sudo dpkg —set-selections

• Consigliamo agli utenti di evitare di aggiornare la versione del kernel (a meno che non sia necessaria una patch di sicurezza) per garantire la compatibilità con i driver installati e le versioni dei pacchetti. Se gli utenti desiderano comunque eseguire l'aggiornamento, possono eseguire i seguenti comandi per sbloccare le versioni del kernel:

  echo linux-aws install | sudo dpkg -set-selections
  echo linux-headers-aws install | sudo dpkg -set-selections
  echo linux-image-aws install | sudo dpkg -set-selections

• Per ogni nuova versione di DLAMI, viene utilizzato il kernel compatibile più recente disponibile.

• È stato EC2 aggiunto il supporto per le istanze P6-B200

• EFA Installer aggiornato dalla versione 1.39.0 alla 1.40.0

• Aggiorna il plugin AWS OFI NCCL dalla versione 1.13.0-aws alla 1.14.2-aws

• Versione NCCL compilata aggiornata dalla versione 2.22.3 alla 2.26.5

• Versione CUDA predefinita aggiornata dalla versione 12.6 alla 12.8

• Versione Nvidia DCGM aggiornata dalla 3.3.9 alla 4.4.3

• GDRCopy Aggiornato da 2.4.1 a 2.5.1

• Driver Nvidia aggiornato dalla versione 570.124.06 alla 570.133.20 in base all'indirizzo riportato nel NVIDIA GPU Display Driver Security Bulletin di aprile 2025 CVEs

• Aggiornato NVIDIA Container Toolkit dalla versione 1.17.3 alla versione 1.17.4

  • Per ulteriori informazioni, consulta la pagina delle note di rilascio qui:/1.17.4 https://github.com/NVIDIA/ nvidia-container-toolkit releases/tag/v

  • Nella versione 1.17.4 di Container Toolkit, il montaggio delle librerie compatte CUDA è ora disabilitato. Per garantire la compatibilità con più versioni CUDA sui flussi di lavoro dei container, assicurati di aggiornare LD_LIBRARY_PATH per includere le tue librerie di compatibilità CUDA, come mostrato nel tutorial If you use a CUDA compatibility layer.

• Sono state rimosse le librerie di spazio utente cuobj e nvdisasm fornite dal toolkit NVIDIA CUDA e presenti nel NVIDIA CUDA Toolkit Security Bulletin del 18 febbraio 2025 CVEs

• Aggiunta la versione 12.6 del toolkit CUDA nella directory/-12.6 usr/local/cuda

• Le versioni CUDA 12.1 e 12.2 sono state rimosse da questo DLAMI. I clienti possono installare queste versioni da NVIDIA utilizzando il link seguente

  • https://developer.nvidia.com/cuda-toolkit-archive

• Versione EFA aggiornata da 1.37.0 a 1.38.0

  • EFA ora include il plugin AWS OFI NCCL, che ora può essere trovato in/-ofi-nccl/. opt/amazon/ofi-nccl rather than the original /opt/aws Se aggiorni la variabile LD_LIBRARY_PATH, assicurati di modificare correttamente la posizione OFI NCCL.

• Nvidia Container Toolkit aggiornato da 1.17.3 a 1.17.4

• Driver Nvidia aggiornato dalla versione 550.127.05 alla 550.144.03 come indicato nel NVIDIA GPU Display Driver Security Bulletin di gennaio 2025 CVEs

• È stato aggiunto il FSx pacchetto Amazon per il supporto Lustre.

• A causa di una modifica nel kernel Ubuntu per risolvere un difetto nella funzionalità Kernel Address Space Layout Randomization (KASLR), le istanze G4Dn/G5 non sono in grado di inizializzare correttamente CUDA sul driver OSS Nvidia. Per mitigare questo problema, questo DLAMI include funzionalità che caricano dinamicamente il driver proprietario per le istanze G4Dn e G5. Attendi un breve periodo di inizializzazione per questo caricamento per garantire che le istanze siano in grado di funzionare correttamente.

  Per verificare lo stato e l'integrità di questo servizio, puoi utilizzare il seguente comando:

• Driver Nvidia aggiornato dalla versione 550.90.07 alla 550.127.05 all'indirizzo riportato nel NVIDIA GPU Display Security Bulletin di ottobre 2024 CVEs

• Driver Nvidia e Fabric Manager aggiornati dalla versione 535.183.01 a 550.90.07

• Nvidia Container Toolkit è stato aggiornato dalla versione 1.16.1 alla 1.16.2, risolvendo la vulnerabilità di sicurezza CVE-2024-0133.

• Versione EFA aggiornata da 1.32.0 a 1.34.0

• NCCL aggiornato all'ultima versione 2.22.3 per tutte le versioni CUDA

  • CUDA 12.1, 12.2 aggiornato da 2.18.5+ 2. CUDA12

  • CUDA 12.3 aggiornato dalla versione CUDA12 2.21.5+ .4

• Aggiunta la versione 12.4 del toolkit CUDA nella directory/-12.4 usr/local/cuda

• Aggiunto il supporto per le istanze P5e. EC2

• Aggiunto il supporto per l'istanza G6e. EC2

• Versione del driver Nvidia aggiornata a 535.183.01 da 535.161.08

• Il supporto di Amazon FSx for Lustre è stato rimosso in questa versione a causa dell'incompatibilità con le ultime versioni del kernel di Ubuntu 22.04. Il supporto FSx per Lustre verrà ripristinato una volta supportata l'ultima versione del kernel. I clienti che richiedono FSx Lustre devono continuare a utilizzare l'AMI GPU Deep Learning Base (Ubuntu 20.04).

• Versione iniziale del Deep Learning Base OSS DLAMI per Ubuntu 22.04