AWS AMI de GPU de base de aprendizaje profundo (Amazon Linux 2023)

• Deep Learning Base OSS Nvidia Driver GPU AMI (Amazon Linux 2023) $ {YYY-MM-DD}

• Consulte Cambios importantes en la DLAMI

• El controlador Nvidia de aprendizaje profundo con OSS es compatible con G4dn, G5, G6, Gr6, G6e, P4d, P4de, P5, P5e, P5en, P6-B200

• AWS Servicio compatible: Amazon EC2

• Sistema operativo: Amazon Linux 2023

• Arquitectura de cómputo: x86

• La última versión disponible está instalada para los siguientes paquetes:

  • Núcleo de Linux: 6.1

  • FSx Lustre

  • NVIDIA GDS

  • Docker

  • AWS CLI v2 en/usr/local/bin/aws2 y AWS CLI v1 en/usr/bin/aws

  • NVIDIA DCGM

  • Kit de herramientas de contenedores Nvidia:

    • Comando de versión: -V nvidia-container-cli

  • Nvidia-Docker2:

    • Comando de versión: versión nvidia-docker

• Controlador NVIDIA: 570.133.20

• Pila NVIDIA CUDA 12.4-12.6 y 12.8:

  • Directorios de instalación de CUDA, NCCL y CUDDN:/-xx.x/ usr/local/cuda

    • Ejemplo:/-12.8/ usr/local/cuda-12.8/ , /usr/local/cuda

  • Versión NCCL compilada: 2.26.5

  • CUDA predeterminado: 12.8

    • PATH/usr/local/cudaapunta a CUDA 12.8

    • Se actualizaron las siguientes variables de entorno:

      • LD_LIBRARY_PATH tendrá/usr/local/cuda-12.8/lib:/usr/local/cuda-12.8/lib64:/usr/local/cuda-12.8:/usr/local/cuda-12.4/targets/x86_64-linux/lib

      • PATH para tener//usr/local/cuda-12.8/bin/:/usr/local/cuda-12.8/include

      • Para cualquier versión de CUDA diferente, actualice LD_LIBRARY_PATH en consecuencia.

• Instalador de EFA: 1.40.0

• Nvidia: 2.5 GDRCopy

• AWS OFI NCCL: 1.14.2 ejes

  • AWS OFI NCCL ahora admite múltiples versiones de NCCL con una sola versión

  • La ruta de instalación:/opt/amazon/ofi-nccl/ . Path /opt/amazon/ofi-nccl/libse agrega a LD_LIBRARY_PATH.

• AWS CLI v2 en/2 y v1 en/usr/local/bin/aws AWS CLI usr/bin/aws

• Tipo de volumen de EBS: gp3

• Python:/usr/bin/python3.9

• NVMe Ubicación del almacén de instancias (en EC2 las instancias compatibles):/opt/dlami/nvme

• Consulte el AMI-ID con el parámetro SSM (la región de ejemplo es us-east-1):

  • Controlador OSS Nvidia:

    aws ssm get-parameter --region us-east-1 \
        --name /aws/service/deeplearning/ami/x86_64/base-oss-nvidia-driver-gpu-al2023/latest/ami-id \
        --query "Parameter.Value" --output text

• Consulta el AMI-ID con AWSCLI (por ejemplo, la región es us-east-1):

  • Controlador OSS Nvidia:

    aws ec2 describe-images --region us-east-1 \
        --owners amazon \
        --filters 'Name=name,Values=Deep Learning Base OSS Nvidia Driver GPU AMI (Amazon Linux 2023) ????????' 'Name=state,Values=available' \
        --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
        --output text

Kernel

• La versión del núcleo se fija mediante el comando:

  sudo dnf versionlock kernel*

• Recomendamos a los usuarios que eviten actualizar su versión del núcleo (a menos que sea debido a un parche de seguridad) para garantizar la compatibilidad con los controladores y las versiones de los paquetes instalados. Si los usuarios aún desean actualizar, pueden ejecutar los siguientes comandos para desfijar sus versiones del núcleo:

  sudo dnf versionlock delete kernel*
  sudo dnf update -y

• Para cada nueva versión de DLAMI, se utiliza el último núcleo compatible disponible.

• Se agregó soporte para instancias P6-B200 EC2

• Se actualizó el instalador de EFA de la versión 1.38.1 a la 1.40.0

• Se actualizó GDRCopy de la versión 2.4 a la 2.5

• Se actualizó el complemento AWS OFI NCCL de la versión 1.13.0-aws a la 1.14.2-aws

• Se actualizó la versión NCCL compilada de la versión 2.25.1 a la 2.26.5

• Se actualizó la versión CUDA predeterminada de la versión 12.6 a la 12.8

• Se actualizó la versión DCGM de Nvidia de 3.3.9 a 4.4.3

• Se actualizó el controlador Nvidia de la versión 570.124.06 a la 570.133.20 para cumplir con lo indicado en el boletín de seguridad del controlador de pantalla de GPU de CVEs NVIDIA de abril de 2025

• Se agregó soporte para NVIDIA GPU Direct Storage (GDS)

• Se actualizó el kit de herramientas NVIDIA Container de la versión 1.17.3 a la versión 1.17.4

  • Consulte la página de notas de la versión aquí para obtener más información:/1.17.4 https://github.com/NVIDIA/ nvidia-container-toolkit releases/tag/v

  • En la versión 1.17.4 del Container Toolkit, el montaje de bibliotecas compatibles con CUDA ahora está deshabilitado. Para garantizar la compatibilidad con varias versiones de CUDA en los flujos de trabajo de contenedores, asegúrese de actualizar su LD_LIBRARY_PATH para incluir las bibliotecas de compatibilidad con CUDA, tal y como se muestra en el tutorial sobre si utiliza una capa de compatibilidad CUDA.

• Se eliminaron las bibliotecas de espacio de usuario cuobj y nvdisasm proporcionadas por el kit de herramientas CUDA de NVIDIA para abordar las presentes en el boletín de seguridad del kit de herramientas NVIDIA CUDA del 18 de febrero de 2025 CVEs

• Se agregó la versión 12.6 del kit de herramientas CUDA en el directorio/-12.6 usr/local/cuda

• Se agregó soporte para instancias G5 EC2

• Las versiones 12.1 y 12.2 de CUDA se han eliminado de esta DLAMI. Los clientes que necesiten estas versiones del kit de herramientas CUDA pueden instalarlas directamente desde NVIDIA mediante el siguiente enlace

  • https://developer.nvidia.com/cuda-toolkit-archive

• Se actualizó la versión EFA de 1.37.0 a 1.38.0

  • EFA ahora incluye el complemento AWS OFI NCCL, que ahora se encuentra en/-ofi-nccl/. opt/amazon/ofi-nccl rather than the original /opt/aws Si va a actualizar la variable LD_LIBRARY_PATH, asegúrese de modificar correctamente la ubicación de su OFI NCCL.

• Se actualizó el kit de herramientas Nvidia Container de la versión 1.17.3 a la 1.17.4

• Se agregó soporte para instancias G4dn

• Se actualizó el kit de herramientas Nvidia Container de la versión 1.17.0 a la 1.17.3

• Se agregó soporte para las instancias P5en. EC2

• Se actualizó el instalador de EFA de la versión 1.35.0 a la 1.37.0

• Actualice el complemento AWS OFI NCCL de la versión 1.121-aws a la 1.13.0-aws

• Versión inicial de la base de aprendizaje profundo OSS DLAMI para Amazon Linux 2023

• Esta DLAMI no admite instancias G4dn y EC2 G5 en este momento. AWS tiene conocimiento de una incompatibilidad que puede provocar errores en la inicialización de CUDA, lo que afecta a las familias de instancias G4dn y G5 cuando se utilizan los controladores NVIDIA de código abierto junto con un núcleo de Linux de versión 6.1 o posterior. Este problema afecta a distribuciones de Linux como Amazon Linux 2023, Ubuntu 22.04 o posterior, o SUSE Linux Enterprise Server 15 SP6 o posterior, entre otras.