AWS AMI GPU di ARM64 base di deep learning (Amazon Linux 2)

• AMI AMI GPU Nvidia con sistema operativo e apprendimento ARM64 approfondito (Amazon Linux 2) $ {YYYY-MM-DD}

• G5g

• AWS Servizio supportato: Amazon EC2

• Sistema operativo: Amazon Linux 2

• Architettura di calcolo: ARM64

• Kernel Linux: 5.10

• Driver NVIDIA: 550.144.03

• Pila NVIDIA CUDA 12.1, 12.2, 12.3:

  • Directory di installazione CUDA, NCCL e cuDDN:

    • Esempio:usr/local/cuda-12.1/ , /usr/local/cuda/-12.1/

  • Versione NCCL compilata:

    • Per la directory CUDA 12.3, compilata la versione NCCL 2.21.5+ .4 CUDA12

    • Per la directory CUDA 12.1, 12.2, la versione NCCL 2.18.5+ .2 compilata CUDA12

  • CUDA predefinito: 12.1

    • PATH/usr/local/cudapunta a CUDA 12.1

    • Aggiornato di seguito le variabili di ambiente:

      • LD_LIBRARY_PATH da avere/64 usr/local/cuda-12.1/lib:/usr/local/cuda-12.1/lib64:/usr/local/cuda-12.1:/usr/local/cuda-12.1/targets/sbsa-linux/lib:/usr/local/cuda-12.1/nvvm/lib64:/usr/local/cuda-12.1/extras/CUPTI/lib

      • PERCORSO da avere//usr/local/cuda-12.1/bin/:/usr/local/cuda-12.1/include

      • Per qualsiasi versione CUDA diversa, aggiorna LD_LIBRARY_PATH di conseguenza.

• AWS CLI v2 in/2 e v1 in/usr/local/bin/aws AWS CLI usr/bin/aws

• Tipo di volume EBS: gp3

• Toolkit per contenitori Nvidia: 1.16.2

  • Comando di versione: -V nvidia-container-cli

• Docker: 26.1.2

• Python:/3.10 usr/bin/python

• Interroga l'AMI-ID con il parametro SSM (la regione di esempio è us-east-1):

  SSM_PARAMETER=base-oss-nvidia-driver-gpu-amazon-linux-2/latest/ami-id \
      aws ssm get-parameter --region us-east-1 \
      --name /aws/service/deeplearning/ami/arm64/$SSM_PARAMETER  \
      --query "Parameter.Value" \
      --output text

• Interroga l'AMI-ID con AWSCLI (la regione di esempio è us-east-1):

  aws ec2 describe-images --region us-east-1 \
      -owners amazon \
      --filters 'Name=name,Values=Deep Learning ARM64 Base OSS Nvidia Driver GPU AMI (Amazon Linux 2) ????????' 'Name=state,Values=available' \
      --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
      --output text

Kernel

• La versione del kernel viene bloccata utilizzando il comando:

  sudo yum versionlock kernel*

• Consigliamo agli utenti di evitare di aggiornare la versione del kernel (a meno che non sia necessaria una patch di sicurezza) per garantire la compatibilità con i driver installati e le versioni dei pacchetti. Se gli utenti desiderano comunque effettuare l'aggiornamento, possono eseguire i seguenti comandi per sbloccare le versioni del kernel:

  sudo yum versionlock delete kernel*
  sudo yum update -y

• Per ogni nuova versione di DLAMI, viene utilizzato il kernel compatibile più recente disponibile.

• NVIDIA Container Toolkit aggiornato dalla versione 1.17.3 alla versione 1.17.4

  • Per ulteriori informazioni, consulta la pagina delle note di rilascio qui:/1.17.4 https://github.com/NVIDIA/ nvidia-container-toolkit releases/tag/v

  • Nella versione 1.17.4 di Container Toolkit, il montaggio delle librerie compatte CUDA è ora disabilitato. Per garantire la compatibilità con più versioni CUDA sui flussi di lavoro dei container, assicurati di aggiornare LD_LIBRARY_PATH per includere le tue librerie di compatibilità CUDA, come mostrato nel tutorial If you use a CUDA compatibility layer.

• Sono state rimosse le librerie di spazio utente cuobj e nvdisasm fornite dal toolkit NVIDIA CUDA e presenti nel NVIDIA CUDA Toolkit Security Bulletin del 18 febbraio 2025 CVEs

• Driver Nvidia aggiornato dalla versione 550.127.05 alla 550.144.03 come indicato nel NVIDIA GPU Display Driver Security Bulletin di gennaio 2025 CVEs

• Driver Nvidia aggiornato dalla versione 550.90.07 alla 550.127.05 all'indirizzo riportato nel NVIDIA GPU Display Security Bulletin di ottobre 2024 CVEs

• Nvidia Container Toolkit è stato aggiornato dalla versione 1.16.1 alla 1.16.2, risolvendo la vulnerabilità di sicurezza CVE-2024-0133.

• Versione del driver Nvidia aggiornata a 535.183.01 da 535.161.08

• Versione iniziale di Deep Learning ARM64 Base OSS DLAMI per Amazon Linux 2