AWS AMI de GPU de base de aprendizaje profundo (Ubuntu 24.04)

• Base de aprendizaje profundo OSS Controlador Nvidia GPU AMI (Ubuntu 24.04) $ {YYY-MM-DD}

• Consulte Cambios importantes en la DLAMI.

• El controlador Nvidia de aprendizaje profundo con OSS es compatible con G4dn, G5, G6, Gr6, G6e, P4d, P4de, P5, P5e, P5en, P6-B200.

• AWS Servicio compatible: Amazon EC2

• Sistema operativo: Ubuntu 24.04

• Arquitectura de cómputo: x86

• La última versión disponible está instalada para los siguientes paquetes:

  • Núcleo de Linux: 6. 8

  • FSx Lustre

  • Docker

  • AWS CLI v2 en/usr/bin/aws

  • NVIDIA DCGM

  • Kit de herramientas de contenedores Nvidia:

    • Comando de versión: -V nvidia-container-cli

  • Nvidia-Docker2:

    • Comando de versión: versión nvidia-docker

• Controlador NVIDIA: 570.133.20

• Pila NVIDIA CUDA 12.6 y 12.8:

  • Directorios de instalación de CUDA, NCCL y CUDDN:/-xx.x/ usr/local/cuda

    • Ejemplo:/-12.8/ usr/local/cuda-12.8/ , /usr/local/cuda

  • Versión NCCL compilada: 2.25.1

  • CUDA predeterminado: 12.8

    • PATH/usr/local/cudaapunta a CUDA 12.8

    • Se actualizaron las siguientes variables de entorno:

      • LD_LIBRARY_PATH tendrá/64 usr/local/cuda-12.8/lib:/usr/local/cuda-12.8/lib64:/usr/local/cuda-12.8:/usr/local/cuda-12.8/targets/sbsa-linux/lib:/usr/local/cuda-12.8/nvvm/lib64:/usr/local/cuda-12.8/extras/CUPTI/lib

      • PATH para tener//usr/local/cuda-12.8/bin/:/usr/local/cuda-12.8/include

      • Para cualquier versión de CUDA diferente, actualice LD_LIBRARY_PATH en consecuencia.

• Instalador de EFA: 1.40.0

• Nvidia: 2.5.1 GDRCopy

• AWS OFI NCCL: 1.14.2 aws

  • La ruta de instalación:/opt/amazon/ofi-nccl/ . Path /opt/amazon/ofi-nccl/libse agrega a LD_LIBRARY_PATH.

• AWS CLI v2 en/usr/bin/aws

• Tipo de volumen de EBS: gp3

• Python:/usr/bin/python3.12

• NVMe Ubicación del almacén de instancias (en las EC2 instancias compatibles):/opt/dlami/nvme

• Consulte el AMI-ID con el parámetro SSM (la región de ejemplo es us-east-1):

  • Controlador OSS Nvidia:

    aws ssm get-parameter --region us-east-1 \
        --name /aws/service/deeplearning/ami/x86_64/base-oss-nvidia-driver-gpu-ubuntu-24.04/latest/ami-id \
        --query "Parameter.Value" \
        --output text

• Consulta el AMI-ID con AWSCLI (por ejemplo, la región es us-east-1):

  • Controlador OSS Nvidia:

    aws ec2 describe-images --region us-east-1 \
        --owners amazon \
        --filters 'Name=name,Values=Deep Learning Base OSS Nvidia Driver GPU AMI (Ubuntu 24.04) ????????' 'Name=state,Values=available' \
        --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
        --output text

EC2 instancia con varias tarjetas de red

• Muchos tipos de instancias que admiten EFA también tienen varias tarjetas de red.

• DeviceIndex es único para cada tarjeta de red y debe ser un entero no negativo inferior al límite de ENIs per. NetworkCard En P5, el número de ENIs per NetworkCard es 2, lo que significa que los únicos valores válidos DeviceIndex son 0 o 1.

  • Para la interfaz de red principal (índice de tarjeta de red 0, índice de dispositivo 0), cree una interfaz EFA (EFA con ENA). No puede utilizar una interfaz de red exclusiva para EFA como interfaz de red principal.

  • Para cada interfaz de red adicional, utilice el siguiente índice de tarjetas de red no utilizado, el índice de dispositivos 1, y una interfaz de red EFA (EFA con ENA) o solo EFA, según el caso de uso, como los requisitos de ancho de banda de la ENA o el espacio de direcciones IP. Para ver ejemplos de casos de uso, consulte Configuración de EFA para instancias P5.

  • Para obtener más información, consulte la Guía de EFA aquí.

Kernel

• La versión del núcleo se fija mediante el comando:

  echo linux-aws hold | sudo dpkg —set-selections
  echo linux-headers-aws hold | sudo dpkg —set-selections
  echo linux-image-aws hold | sudo dpkg —set-selections

• Recomendamos a los usuarios que eviten actualizar su versión del núcleo (a menos que sea debido a un parche de seguridad) para garantizar la compatibilidad con los controladores y las versiones de los paquetes instalados. Si los usuarios aún desean actualizar, pueden ejecutar los siguientes comandos para desfijar sus versiones del núcleo:

  echo linux-aws install | sudo dpkg -set-selections
  echo linux-headers-aws install | sudo dpkg -set-selections
  echo linux-image-aws install | sudo dpkg -set-selections

• Para cada nueva versión de DLAMI, se utiliza el último núcleo compatible disponible.

• Se agregó soporte para instancias P6-B200 EC2

• Se actualizó el instalador de EFA de la versión 1.40.0 a la 1.41.0

• Se actualizó la versión NCCL compilada de la versión 2.25.1 a la 2.26.5

• Se actualizó la versión DCGM de Nvidia de 3.3.9 a 4.4.3

• Versión inicial de la DLAMI OSS DLAMI de Deep Learning Base para Ubuntu 24.04