AWS AMI di apprendimento approfondito (Amazon Linux 2)

• Versione AMI del driver Nvidia proprietaria di deep learning (Amazon Linux 2) $ {XX.X}

• Sistema operativo di deep learning Nvidia Driver AMI (Amazon Linux 2) Versione $ {XX.X}

• Consulta la sezione Modifiche importanti a DLAMI.

• Deep Learning con OSS Il driver Nvidia supporta G4dn, G5, G6, Gr6, G6e, P4d, P4de, P5

• Deep Learning con driver Nvidia proprietario supporta G3 (G3.16x non supportato), P3, P3dn

• AWS Servizio supportato: Amazon EC2

• Sistema operativo: Amazon Linux 2

• Architettura di calcolo: x86

• Framework per ambienti Conda e versioni python:

  • AMI driver Nvidia OSS con apprendimento approfondito (Amazon Linux 2):

    • python3: Python 3.10

    • tensorflow2_p310:2.16, Python 3.10 TensorFlow

    • pytorch_p310:2.2, Python 3.10 PyTorch

  • AMI driver Nvidia proprietaria di deep learning (Amazon Linux 2):

    • python3: Python 3.10

    • tensorflow2_p310:2.16, Python 3.10 TensorFlow

    • pytorch_p310:2.2, Python 3.10 PyTorch

• Driver NVIDIA:

  • Driver Nvidia per sistema operativo: 550.163.01

  • Driver Nvidia proprietario: 550.163.01

• Stack CUDA12 NVIDIA 1.1-12.4:

  • Percorso di installazione di CUDA, NCCL e cuDDN:/-xx.x/ usr/local/cuda

  • CUDA predefinito: 12.1

    • PATH//usr/local/cudapunta a 1. CUDA12

    • Aggiornato di seguito le variabili di ambiente:

      • LD_LIBRARY_PATH da avere/usr/local/cuda-12.1/lib:/usr/local/cuda-12.1/lib64:/usr/local/cuda-12.1:/usr/local/cuda-12.1/targets/x86_64-linux/lib

      • PERCORSO da avere//usr/local/cuda-12.1/bin/:/usr/local/cuda-11.8/include

    • Per qualsiasi versione CUDA diversa, aggiorna LD_LIBRARY_PATH di conseguenza.

  • Versione NCCL compilata per CUDA 12.1-12.4:2.22.3

  • Luogo dei test NCCL:

    • all_reduce, all_gather e reduce_scatter:/-cuda-xx.x/ usr/local/cuda-xx.x/efa/test

    • Per eseguire i test NCCL, è necessario che LD_LIBRARY_PATH abbia superato gli aggiornamenti seguenti.

      • I comuni sono già stati aggiunti a LD_LIBRARY_PATH: PATHs

        • /opt/amazon/efa/lib:/opt/amazon/openmpi/lib:/opt/aws-ofi-nccl/lib:/usr/local/lib:/usr/lib

      • Per qualsiasi versione CUDA diversa, aggiorna LD_LIBRARY_PATH di conseguenza.

• Programma di installazione EFA: 1.38.0

• GDRCopy: 2.4

• AWS OFI NCCL: 1.13.2

  • Ubicazione del sistema:/usr/local/cuda-xx.x/efa

  • Questo viene aggiunto per eseguire i test NCCL che si trovano in/-cuda-xx.x/ usr/local/cuda-xx.x/efa/test

  • Inoltre, il PyTorch pacchetto include anche il plug-in AWS OFI NCCL collegato dinamicamente come pacchetto conda e utilizzerà quel pacchetto aws-ofi-nccl-dlc al posto del sistema OFI NCCL. PyTorch AWS

• Posizione dei usr/local/cuda-xx.x/efa/test test NCCL:/-cuda-xx.x/

• AWS CLI v2 ausr/local/bin/aws/2 AWS CLI e v1 a/usr/local/bin/aws

• Tipo di volume EBS: gp3

• Interroga l'AMI-ID con il parametro SSM (la regione di esempio è us-east-1):

  • Driver OSS Nvidia:

    aws ssm get-parameter --name /aws/service/deeplearning/ami/x86_64/multi-framework-oss-nvidia-driver-amazon-linux-2/latest/ami-id --region us-east-1 --query "Parameter.Value" --output text

  • Driver Nvidia proprietario:

    aws ssm get-parameter --name /aws/service/deeplearning/ami/x86_64/multi-framework-proprietary-nvidia-driver-amazon-linux-2/latest/ami-id --region us-east-1 --query "Parameter.Value" --output text

• Interroga l'AMI-ID con AWSCLI (la regione di esempio è us-east-1):

  • Driver OSS Nvidia:

    aws ec2 describe-images --region us-east-1 --owners amazon --filters 'Name=name,Values=Deep Learning OSS Nvidia Driver AMI (Amazon Linux 2) Version ??.?' 'Name=state,Values=available' --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' --output text

  • Driver Nvidia proprietario:

    aws ec2 describe-images --region us-east-1 --owners amazon --filters 'Name=name,Values=Deep Learning Proprietary Nvidia Driver AMI (Amazon Linux 2) Version ??.?' 'Name=state,Values=available' --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' --output text

• EFA ora include il plugin OFI NCCL, che ora può essere trovato in/ AWS -ofi-nccl/. opt/amazon/ofi-nccl rather than the original /opt/aws Se aggiorni la variabile LD_LIBRARY_PATH, assicurati di modificare correttamente la posizione OFI NCCL.

• Il driver Nvidia proprietario di Deep Learning AMIs rilasciato dopo il 18 luglio 2024 verrà fornito senza gli ambienti Neuron Conda per e. PyTorch TensorFlow Utilizza invece DLAMIs Neuron nelle note di rilascio di DLAMI per utilizzare ambienti neuronali.

• I DLAMI rilasciati tra il 26 marzo 2024 (2024-03-26) e il 12 aprile 2024 (2024-04-12) sono stati spediti senza il pacchetto di audit. Se hai bisogno di questo pacchetto specifico per le tue esigenze di registrazione e monitoraggio, migra i flussi di lavoro al DLAMI più recente per utilizzare quelli con il pacchetto di audit installato.

• Horovod viene rimosso dagli attuali ambienti conda pytorch_p310 e tensorflow2_p310 sul DLAMI. I clienti potranno installare le librerie horovod seguendo le linee guida horovod e installarle sulle proprie librerie per i loro lavori di formazione distribuiti. DLAMIs

Nomi AMI

• Sistema operativo di deep learning Nvidia Driver AMI (Amazon Linux 2) versione 81.2

• AMI driver Nvidia proprietaria di deep learning (Amazon Linux 2) versione 81.2

• Driver Nvidia aggiornato dalla versione 550.144.03 alla 550.163.01 come indicato nel NVIDIA GPU Display Driver Security Bulletin di aprile 2025 CVEs

Nomi AMI

• AMI driver Nvidia OSS con apprendimento approfondito (Amazon Linux 2) versione 80.6

• AMI driver Nvidia proprietaria di deep learning (Amazon Linux 2) versione 80.4

• NVIDIA Container Toolkit aggiornato dalla versione 1.17.3 alla versione 1.17.4

  • Per ulteriori informazioni, consulta la pagina delle note di rilascio qui:/1.17.4 https://github.com/NVIDIA/ nvidia-container-toolkit releases/tag/v

  • Nella versione 1.17.4 di Container Toolkit, il montaggio delle librerie compatte CUDA è ora disabilitato. Per garantire la compatibilità con più versioni CUDA sui flussi di lavoro dei container, assicurati di aggiornare LD_LIBRARY_PATH per includere le tue librerie di compatibilità CUDA, come mostrato nel tutorial «Se usi un livello di compatibilità CUDA» qui - -gpu-drivers.html# https://docs.aws.amazon.com/sagemaker/ latest/dg/inference collapsible-cuda-compat

• Rimosse le librerie di spazio utente cuobj e nvdisasm fornite dal toolkit NVIDIA CUDA da indirizzare CVEs presenti nel NVIDIA CUDA Toolkit Security Bulletin del 18 febbraio 2025

Nomi AMI

• AMI driver Nvidia proprietaria di deep learning (Amazon Linux 2) versione 80.2

• Sistema operativo di deep learning Nvidia Driver AMI (Amazon Linux 2) versione 80.4

• Versione EFA aggiornata da 1.37.0 a 1.38.0

  • EFA ora include il plugin AWS OFI NCCL, che ora può essere trovato in/-ofi-nccl/. opt/amazon/ofi-nccl rather than the original /opt/aws Se aggiorni la variabile LD_LIBRARY_PATH, assicurati di modificare correttamente la posizione OFI NCCL.

Nomi AMI

• Sistema operativo di deep learning Nvidia Driver AMI (Amazon Linux 2) versione 80.3

• AMI driver Nvidia proprietaria di deep learning (Amazon Linux 2) versione 80.1

• Driver Nvidia aggiornato dalla versione 550.127.05 alla 550.144.03 come indicato nel NVIDIA GPU Display Driver Security Bulletin di gennaio 2025 CVEs

Nomi AMI

• AMI driver Nvidia OSS con apprendimento approfondito (Amazon Linux 2) versione 80.1

• AMI del driver Nvidia proprietaria di deep learning (Amazon Linux 2) versione 79.9

• Nvidia Container Toolkit aggiornato dalla versione 1.17.0 alla 1.17.3

Nomi AMI

• Sistema operativo di deep learning Nvidia Driver AMI (Amazon Linux 2) versione 79.9

• AMI del driver Nvidia proprietaria di deep learning (Amazon Linux 2) versione 79.7

• Nvidia Container Toolkit è stato aggiornato dalla versione 1.16.2 alla 1.17.0, risolvendo la vulnerabilità di sicurezza CVE-2024-0134.

Nomi AMI

• Sistema operativo di deep learning Nvidia Driver AMI (Amazon Linux 2) versione 79.6

• AMI del driver Nvidia proprietaria di deep learning (Amazon Linux 2) versione 79.6

• Driver Nvidia aggiornato dalla versione 550.90.07 alla 550.127.05 come indicato nel NVIDIA GPU Display Security Bulletin di ottobre 2024 CVEs

Nomi AMI

• Sistema operativo di deep learning Nvidia Driver AMI (Amazon Linux 2) versione 79.3

• AMI del driver Nvidia proprietaria di deep learning (Amazon Linux 2) versione 79.3

• Nvidia Container Toolkit è stato aggiornato dalla versione 1.16.1 alla 1.16.2, risolvendo la vulnerabilità di sicurezza CVE-2024-0133.

Nomi AMI

• Sistema operativo di deep learning Nvidia Driver AMI (Amazon Linux 2) versione 78.6

• AMI del driver Nvidia proprietaria di deep learning (Amazon Linux 2) versione 78.7

• Sono stati rimossi gli ambienti conda aws_neuron_pytorch_p38 e aws_neuron_tensorflow_p38 dall'AMI Nvidia Driver proprietaria di Deep Learning.

• È stato rimosso il supporto per la famiglia di istanze Inf1 dall'AMI Nvidia Driver proprietaria di Deep Learning.

Nomi AMI

• Sistema operativo di deep learning Nvidia Driver AMI (Amazon Linux 2) versione 78.5

• AMI del driver Nvidia proprietaria di deep learning (Amazon Linux 2) versione 78.5

• Versione del driver Nvidia aggiornata a 535.183.01 da 535.161.08

Nomi AMI

• Sistema operativo di deep learning Nvidia Driver AMI (Amazon Linux 2) versione 78.1

• AMI del driver Nvidia proprietaria di deep learning (Amazon Linux 2) versione 78.1

• Torchserve aggiornato dalla v0.8.2 alla v0.11.0 nell'ambiente pytorch_p310.

Nomi AMI

• Sistema operativo di deep learning Nvidia Driver AMI (Amazon Linux 2) versione 78.0

• AMI del driver Nvidia proprietaria di deep learning (Amazon Linux 2) versione 78.0

• TensorFlow versione aggiornata dalla 2.15 alla 2.16 nell'ambiente tensorflow2_p310.

• Versione EFA aggiornata dalla versione 1.30 alla versione 1.32

• Plugin AWS OFI NCCL aggiornato dalla versione 1.7.4 alla versione 1.9.1

• Nvidia Container Toolkit aggiornato dalla versione 1.13.5 alla versione 1.15.0

  • NOTA: la versione 1.15.0 NON include i pacchetti e nvidia-docker2. nvidia-container-runtime Si consiglia di utilizzare i nvidia-container-toolkit pacchetti direttamente seguendo i documenti del toolkit contenitore Nvidia.

• Aggiunto lo stack CUDA12 .3 con CUDA12 .3, NCCL 2.21.5, cuDNN 8.9.7

• CUDA11Rimossi CUDA12 gli stack .7, .0 presenti usr/local/cuda-11.7 and /usr/local/cuda a /-12.0

• Il pacchetto nvidia-docker2 e il relativo comando nvidia-docker sono stati rimossi come parte dell'aggiornamento del toolkit container Nvidia dalla 1.13.5 alla 1.15.0 che NON include i pacchetti e nvidia-docker2. nvidia-container-runtime

Nomi AMI

• Sistema operativo di deep learning Nvidia Driver AMI (Amazon Linux 2) versione 77.0

• AMI driver Nvidia proprietaria di deep learning (Amazon Linux 2) versione 77.0

• PyTorch versione aggiornata dalla 2.1 alla 2.2 nell'ambiente pytorch_p310.

• Per il driver OSS Nvidia DLAMIs, è stato aggiunto il supporto per le istanze G6 e Gr6. EC2 Per ulteriori informazioni, consulta la pagina di selezione delle EC2 istanze.

Nomi AMI

• AMI driver Nvidia OSS con apprendimento approfondito (Amazon Linux 2) versione 76.8

• AMI driver Nvidia proprietaria di deep learning (Amazon Linux 2) versione 76.9

• Driver Nvidia aggiornato da 535.104.12 a 535.161.08 sia nel driver Nvidia proprietario che in quello OSS. DLAMIs

• Le nuove istanze supportate per ogni DLAMI sono le seguenti:

  • Deep Learning con driver Nvidia proprietario supporta G3 (G3.16x non supportato), P3, P3dn, Inf1

  • Deep Learning con OSS Il driver Nvidia supporta G4dn, G5, P4d, P4de.

• Rimosso il EC2 supporto per le istanze G4dn, G5, G3.16x dal driver proprietario Nvidia DLAMI.

Nomi AMI

• AMI driver Nvidia proprietaria di deep learning (Amazon Linux 2) versione 76.8

• Aggiunto awscliv2 nell'AMI come usr/local/bin/aws2, alongside awscliv1 as /usr/local/bin/aws /su Nvidia Driver AMI proprietario

Nomi AMI

• AMI driver Nvidia OSS con apprendimento approfondito (Amazon Linux 2) versione 76.7

• Aggiunto awscliv2 nell'AMI come usr/local/bin/aws2, alongside awscliv1 as /usr/local/bin/aws /on OSS Nvidia Driver AMI

• Driver OSS Nvidia DLAMI aggiornato con supporto G4dn e G5, in base al quale il supporto attuale è il seguente:

  • L'AMI driver Nvidia proprietaria di Deep Learning Base (Amazon Linux 2) supporta P3, P3dn, G3, G5, G4dn.

  • L'AMI driver Nvidia OSS di Deep Learning Base (Amazon Linux 2) supporta G4dn, G5, P4, P5.

• Si consiglia di utilizzare i driver DLAMIs OSS Nvidia per G4dn, G5, P4, P5.

• Aggiornato TensorFlow da 2.13.0 a 2.15.0

• EFA aggiornato dalla versione 1.29.0 alla 1.30.0

• -OFI-NCCL aggiornato AWS da 1.7.3-aws a 1.7.4-aws

• Driver Nvidia aggiornato a 535.104.12 sull'AMI driver Nvidia proprietaria di Deep Learning

• Driver Nvidia aggiornato a 535.154.05 su Deep Learning OSS Nvidia Driver AMI

Nomi AMI

• AMI driver Nvidia proprietaria di deep learning (Amazon Linux 2) versione 76.2

• AMI driver Nvidia OSS con apprendimento approfondito (Amazon Linux 2) versione 76.4

• Versione aggiornata del pacchetto runc per consumare la patch per CVE-2024-21626.

• Aggiornato PyTorch da 2.0.1 a 2.1.0

Nomi AMI

• AMI driver Nvidia OSS con apprendimento approfondito (Amazon Linux 2) versione 75.1

• AMI driver Nvidia proprietaria di deep learning (Amazon Linux 2) versione 75.1

• AWS Deep Learning AMI (DLAMI) è suddiviso in due gruppi distinti:

  • DLAMI che utilizza il driver proprietario Nvidia (per supportare P3, P3dn, G3, G5, G4dn).

  • DLAMI che utilizza il driver Nvidia OSS per abilitare EFA (per supportare P4, P5).

• Per ulteriori informazioni sulla divisione DLAMI, fare riferimento all'annuncio pubblico.

• AWS le query cli di cui sopra si trovano nelle note di rilascio sotto il punto bullet Query AMI-ID with ( AWSCLI la regione di esempio è us-east-1)

• EFA aggiornato dalla versione 1.26.1 alla versione 1.29.0

• GDRCopy aggiornato dalla versione 2.3 alla 2.4

• AWS Plugin OFI NCCL aggiornato dalla versione 1.7.2 alla versione 1.7.3

• Directory CUDA 12.0-12.1 aggiornate con la versione NCCL 2.18.5

• CUDA12.1 aggiornata come versione CUDA predefinita

  • LD_LIBRARY_PATH aggiornato per avere//usr/local/cuda-12.1/targets/x86_64-linux/lib/:/usr/local/cuda-12.1/lib:/usr/local/cuda-12.1/lib64:/usr/local/cuda-12.1 and PATH to have /usr/local/cuda-12.1/bin

  • Per i clienti che desiderano passare a una versione CUDA diversa, definisci le variabili LD_LIBRARY_PATH e PATH di conseguenza.

• Pillow aggiornato dalla versione 9.4.0 alla 10.1.0 per correggere SNYK-PYTHON-PILLOW-5918878 in tutti gli ambienti conda

• Opencv-python aggiornato da 4.8.0.74 a 4.8.1.78 per correggere SNYK-PYTHON-OPENCVPYTHON-5926695 in tutti gli ambienti conda

• Il Kernel Live Patching è ora abilitato. Il live patching consente ai clienti di applicare vulnerabilità di sicurezza e patch di bug critici a un kernel Linux in esecuzione, senza riavvii o interruzioni delle applicazioni in esecuzione.

  • Tieni presente che il supporto per il live patching per il kernel 5.10.192 terminerà il 30/11/23.

  • Per ulteriori informazioni, consultate i documenti ufficiali qui: 2-live-patching.html AWS https://docs.aws.amazon.com/AWSEC2/ latest/UserGuide/al

• Aggiornato TensorFlow dalla 2.12 alla 2.13

  • Horovod è stato rimosso dall'ambiente conda in questa versione. Vedi Avviso per i dettagli sull'installazione di horovod.

• Aggiornato PyTorch dalla 2.0.0 alla 2.0.1