AWS GPU AMI de aprendizaje profundo PyTorch 2.6 (Ubuntu 22.04)

• Controlador Nvidia AMI GPU PyTorch 2.6 de Deep Learning OSS. $ {PATCH-VERSION} (Ubuntu 22.04) $ {AAAA-MM-DD}

• Consulte Cambios importantes en la DLAMI.

• El controlador Nvidia de aprendizaje profundo con OSS es compatible con G4dn, G5, G6, Gr6, P4, P4de, P5, P5e, P5en.

• AWS Servicio compatible: Amazon EC2

• Sistema operativo: Ubuntu 22.04

• Arquitectura de cómputo: x86

• Python:/opt/pytorch/bin/python

• Controlador NVIDIA:

  • Controlador OSS Nvidia: 570.86.15

• Pila NVIDIA 5.1 CUDA12:

  • Ruta de instalación de CUDA, NCCL y CUDDN:/-12.6/ usr/local/cuda

  • CUDA predeterminado: 12.6

    • RUTA/-12.6/ usr/local/cuda points to /usr/local/cuda

    • Actualizado a continuación de las variables de entorno:

      • LD_LIBRARY_PATH tendrá/usr/local/cuda/lib:/usr/local/cuda/lib64:/usr/local/cuda:/usr/local/cuda/targets/x86_64-linux/lib

      • PATH para tener//usr/local/cuda/bin/:/usr/local/cuda/include

  • Sistema compilado (versión NCCL) presente enusr/local/cuda/: 2.24.3

  • PyTorch Versión NCCL compilada del entorno conda: 2.21.5 PyTorch

• Ubicación de las pruebas de la NCCL:

  • all_reduce, all_gather y reduce_scatter:/-cuda-xx.x/ usr/local/cuda-xx.x/efa/test

  • Para ejecutar las pruebas de NCCL, LD_LIBRARY_PATH ya cuenta con las rutas necesarias actualizadas.

  • Las más comunes ya están añadidas a LD_LIBRARY_PATH: PATHs

  • /opt/amazon/efa/lib:/opt/amazon/openmpi/lib:/opt/aws-ofi-nccl/lib:/usr/local/lib:/usr/lib

  • LD_LIBRARY_PATH se actualiza con las rutas de la versión CUDA

  • /usr/local/cuda/lib:/usr/local/cuda/lib64:/usr/local/cuda:/usr/local/cud/targets/x86_64-linux/lib

• Instalador de EFA: 1.38.0

• Nvidia: 2.4.1 GDRCopy

• Motor Nvidia Transformer: v1.11.0

• AWS OFI NCCL: 1.13.2 ejes

  • La ruta de instalación:/opt/aws-ofi-nccl/ . Path /opt/aws-ofi-nccl/libse agrega a LD_LIBRARY_PATH.

  • Nota: el PyTorch paquete también viene con el complemento AWS OFI NCCL vinculado dinámicamente como paquete conda y PyTorch utilizará ese aws-ofi-nccl-dlc paquete en lugar del OFI NCCL del sistema. AWS

• AWS CLI v2 como aws2 y v1 como aws AWS CLI

• Tipo de volumen de EBS: gp3

• Versión de Python: 3.11

• Consulte el AMI-ID con el parámetro SSM (la región de ejemplo es us-east-1):

  • Controlador OSS Nvidia:

    aws ssm get-parameter --region us-east-1 \
        --name /aws/service/deeplearning/ami/x86_64/oss-nvidia-driver-gpu-pytorch-2.6-ubuntu-22.04/latest/ami-id  \
        --query "Parameter.Value" \
        --output text

• Consulta el AMI-ID con AWSCLI (por ejemplo, la región es us-east-1):

  • Controlador OSS Nvidia:

    aws ec2 describe-images --region us-east-1 \
        --owners amazon --filters 'Name=name,Values=Deep Learning OSS Nvidia Driver AMI GPU PyTorch 2.6.? (Ubuntu 22.04) ????????' 'Name=state,Values=available' \
        --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
        --output text

• DeviceIndex es exclusivo de cada una NetworkCard y debe ser un número entero no negativo inferior al límite de per. ENIs NetworkCard En P5, el número de ENIs per NetworkCard es 2, lo que significa que los únicos valores válidos DeviceIndex son 0 o 1. A continuación, se muestra un ejemplo del comando de lanzamiento de una instancia EC2 P5 que utiliza awscli y se muestra NetworkCardIndex del 0 al 31 y DeviceIndex como 0 para la primera interfaz y DeviceIndex como 1 para las 31 restantes.

Kernel

• La versión del núcleo se fija mediante el comando: 

  echo linux-aws hold | sudo dpkg —set-selections
  echo linux-headers-aws hold | sudo dpkg —set-selections
  echo linux-image-aws hold | sudo dpkg —set-selections

• Recomendamos a los usuarios que eviten actualizar su versión del núcleo (a menos que se trate de un parche de seguridad) para garantizar la compatibilidad con los controladores y las versiones de los paquetes instalados. Si los usuarios aún desean actualizar, pueden ejecutar los siguientes comandos para desbloquear sus versiones del núcleo: 

  echo linux-aws install | sudo dpkg —set-selections
  echo linux-headers-aws install | sudo dpkg —set-selections
  echo linux-image-aws install | sudo dpkg —set-selections
  apt-get upgrade -y

• Para cada nueva versión de DLAMI, se utiliza el último núcleo compatible disponible.

• Versión inicial de la serie Deep Learning AMI GPU PyTorch 2.6 (Ubuntu 22.04). Incluye un entorno virtual Python pytorch (source/opt/pytorch/bin/activate), complementado con el controlador NVIDIA R570, CUDA=12.6, CUDNN=9.7, NCCL=2.21.5 y EFA=1.38.0. PyTorch

  • A PyTorch partir de la versión 2.6, Pytorch ha dejado de ofrecer soporte a Conda (véase el anuncio oficial). Como resultado, Pytorch 2.6 y versiones posteriores pasarán a utilizar entornos virtuales Python. Para activar pytorch venv, actívelo utilizando la fuente/opt/pytorch/bin/activate