AWS GPU AMI PyTorch 2.6 con apprendimento approfondito (Amazon Linux 2023)

• GPU AMI NVIDIA Driver OSS con apprendimento approfondito PyTorch 2.6.0 (Amazon Linux 2023) $ {YYYY-MM-DD}

• Consulta la sezione Modifiche importanti a DLAMI

• Deep Learning con OSS Il driver NVIDIA supporta G4dn, G5, G6, Gr6, G6e, P4d, P4de, P5, P5e, P5en

• AWS Servizio supportato: EC2

• Sistema operativo: Amazon Linux 2023

• Architettura di calcolo: x86

• Stack NVIDIA 6.6 CUDA12:

  • Percorso di installazione di CUDA, NCCL e cuDDN:/-12.6/ usr/local/cuda

  • CUDA predefinito: 12.6

    • PERCORSO/-12.6/ usr/local/cuda points to /usr/local/cuda

    • Aggiornato sotto le variabili di ambiente:

      • LD_LIBRARY_PATH da avere/usr/local/cuda/lib:/usr/local/cuda/lib64:/usr/local/cuda:/usr/local/cud/targets/x86_64-linux/lib

      • PERCORSO da avere//usr/local/cuda/bin/:/usr/local/cuda/include

  • Versione NCCL compilata per 12.6:2.24.3

• Luogo dei test NCCL:

  • all_reduce, all_gather e reduce_scatter:/-cuda-xx.x/ usr/local/cuda-xx.x/efa/test

  • Per eseguire i test NCCL, LD_LIBRARY_PATH è già aggiornato con i percorsi necessari.

    • I comuni sono già stati aggiunti a LD_LIBRARY_PATH: PATHs

      • /opt/amazon/efa/lib:/opt/amazon/openmpi/lib:/opt/aws-ofi-nccl/lib:/usr/local/lib:/usr/lib

    • LD_LIBRARY_PATH viene aggiornato con i percorsi della versione CUDA

      • /usr/local/cuda/lib:/usr/local/cuda/lib64:/usr/local/cuda:/usr/local/cud/targets/x86_64-linux/lib

• Programma di installazione EFA: 1.38.0

• GDRCopyNvidia: 2.4.1

• AWS OFI NCCL: 1.13.2-aws

  • AWS OFI NCCL ora supporta più versioni NCCL con un'unica build

  • Il percorso di installazione:/opt/amazon/ofi-nccl/ . Path /opt/amazon/ofi-nccl/libviene aggiunto a LD_LIBRARY_PATH.

• Versione Python: 3.12

• Python:/opt/pytorch/bin/python

• Driver NVIDIA: 570.86.15

• AWS CLI v2 in/usr/bin/aws

• Tipo di volume EBS: gp3

• NVMe Posizione dell'archivio delle istanze (sulle EC2 istanze supportate):/opt/dlami/nvme

• Interroga l'AMI-ID con il parametro SSM (la regione di esempio è us-east-1):

  • Driver OSS Nvidia:

    aws ssm get-parameter --region us-east-1 \
        --name /aws/service/deeplearning/ami/x86_64/oss-nvidia-driver-gpu-pytorch-2.6-amazon-linux-2023/latest/ami-id  \
        --query "Parameter.Value" \
        --output text

• Interroga l'AMI-ID con AWSCLI (la regione di esempio è us-east-1):

  • Driver OSS Nvidia:

    aws ec2 describe-images --region us-east-1 \
        --owners amazon --filters 'Name=name,Values=Deep Learning OSS Nvidia Driver AMI GPU PyTorch 2.6.? (Amazon Linux 2023) ????????' 'Name=state,Values=available' \
        --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
        --output text

• DeviceIndex è unico per ciascuno NetworkCard e deve essere un numero intero non negativo inferiore al limite di per. ENIs NetworkCard In P5, il numero di ENIs per NetworkCard è 2, il che significa che gli unici valori validi per DeviceIndex sono 0 o 1. Di seguito è riportato l'esempio del comando di avvio dell'istanza EC2 P5 che utilizza awscli visualizzato NetworkCardIndex dal numero 0-31 e DeviceIndex come 0 per la prima interfaccia e DeviceIndex come 1 per le restanti 31 interfacce.

Kernel

• La versione del kernel viene bloccata utilizzando il comando: 

  sudo dnf versionlock kernel*

• Consigliamo agli utenti di evitare di aggiornare la versione del kernel (a meno che non sia necessaria una patch di sicurezza) per garantire la compatibilità con i driver installati e le versioni dei pacchetti. Se gli utenti desiderano comunque effettuare l'aggiornamento, possono eseguire i seguenti comandi per sbloccare le versioni del kernel: 

  sudo dnf versionlock delete kernel*
  sudo dnf update -y

• Per ogni nuova versione di DLAMI, viene utilizzato il kernel compatibile più recente disponibile.

• Versione iniziale di Deep Learning OSS Nvidia Driver AMI GPU PyTorch 2.6 per Amazon Linux 2023

  • A partire dalla versione PyTorch 2.6, Pytorch ha reso obsoleto il supporto per Conda. Di conseguenza, Pytorch 2.6 e versioni successive passeranno all'utilizzo di Python Virtual Environments. Per attivare pytorch venv, usa source/opt/pytorch/bin/activate