AWS AMI de GPU de ARM64 base de aprendizaje profundo (Ubuntu 22.04)

• ARM64 Base de aprendizaje profundo OSS Controlador Nvidia GPU AMI (Ubuntu 22.04) $ {YYY-MM-DD}

• G5g, P6e- GB2 00 (CUDA>=12.8 es compatible con P6e- 00) GB2

• AWS Servicio compatible: Amazon EC2

• Sistema operativo: Ubuntu 22.04

• Arquitectura de cómputo: ARM64

• La última versión disponible está instalada para los siguientes paquetes:

  • Núcleo de Linux: 6. 8

  • FSx Lustre

  • Docker

  • AWS CLI v2 en/usr/bin/aws

  • NVIDIA DCGM

  • Kit de herramientas de contenedores Nvidia:

    • Comando de versión: -V nvidia-container-cli

  • Nvidia-Docker2:

    • Comando de versión: versión nvidia-docker

• Controlador NVIDIA: 570.158.01

• Pila NVIDIA CUDA 12.4, 12.5, 12.6, 12.8:

  • Directorios de instalación de CUDA, NCCL y CUDDN:/-xx.x/ usr/local/cuda

    • Ejemplo:/-12.8/ usr/local/cuda-12.8/ , /usr/local/cuda

  • Versión NCCL compilada:

    • Para el directorio CUDA de 12.4, compiló la versión 2.22.3+ .4 de NCCL. CUDA12

    • Para el directorio CUDA de 12.5, compiló la versión 2.22.3+ .5 de NCCL CUDA12

    • Para el directorio CUDA de 12.6, compiló la versión 2.24.3+ .6 de NCCL CUDA12

    • Para el directorio CUDA de 12.8, compiló la versión 2.27.5+ .8 de NCCL CUDA12

  • CUDA predeterminado: 12.8

    • PATH/usr/local/cudaapunta a CUDA 12.8

    • Se actualizaron las siguientes variables de entorno:

      • LD_LIBRARY_PATH tendrá/64 usr/local/cuda-12.8/lib:/usr/local/cuda-12.8/lib64:/usr/local/cuda-12.8:/usr/local/cuda-12.8/targets/sbsa-linux/lib:/usr/local/cuda-12.8/nvvm/lib64:/usr/local/cuda-12.8/extras/CUPTI/lib

      • PATH para tener//usr/local/cuda-12.8/bin/:/usr/local/cuda-12.8/include

      • Para cualquier versión de CUDA diferente, actualice LD_LIBRARY_PATH en consecuencia.

• Instalador de EFA: 1.42.0

• Nvidia: 2.5.1 GDRCopy

• AWS El complemento OFI NCCL viene con el instalador EFA

  • Las rutas/se opt/amazon/ofi-nccl/lib and /opt/amazon/ofi-nccl/efa añaden a LD_LIBRARY_PATH.

• AWS CLI v2 en/2 y v1 en/usr/local/bin/aws AWS CLI usr/bin/aws

• Tipo de volumen de EBS: gp3

• Python:/usr/bin/python3.10

• Consulte el AMI-ID con el parámetro SSM (la región de ejemplo es us-east-1):

  SSM_PARAMETER=base-oss-nvidia-driver-gpu-ubuntu-22.04/latest/ami-id \
      aws ssm get-parameter --region us-east-1 \
      --name /aws/service/deeplearning/ami/arm64/$SSM_PARAMETER  \
      --query "Parameter.Value" \
      --output text

• Consulta el AMI-ID con AWSCLI (por ejemplo, la región es us-east-1):

  aws ec2 describe-images --region us-east-1 \
      --owners amazon --filters 'Name=name,Values=Deep Learning ARM64 Base OSS Nvidia Driver GPU AMI (Ubuntu 22.04) ????????' 'Name=state,Values=available' \
      --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
      --output text

Soporte para varios ENI

• Ubuntu 22.04 instala y configura automáticamente el enrutamiento de origen en múltiples puertos NICs a través de cloud-init en su arranque inicial. Si tu flujo de trabajo incluye attaching/detaching tus ENI mientras una instancia está detenida, debes añadir una configuración adicional a los datos de usuario de cloud-init para garantizar la correcta configuración de las NIC durante estos eventos. A continuación, se proporciona un ejemplo de la configuración de la nube.

• Consulta esta documentación de Canonical aquí para obtener más información sobre cómo configurar la configuración de la nube para tus instancias: -/https://documentation.ubuntu.com/aws/en/latest/aws-how-to/instances/automaticallysetup-multiple-nics

Kernel

• La versión del núcleo se fija mediante el comando:

  echo linux-aws hold | sudo dpkg —set-selections
  echo linux-headers-aws hold | sudo dpkg —set-selections
  echo linux-image-aws hold | sudo dpkg —set-selections

• Recomendamos a los usuarios que eviten actualizar su versión del núcleo (a menos que sea debido a un parche de seguridad) para garantizar la compatibilidad con los controladores y las versiones de los paquetes instalados. Si los usuarios aún desean actualizar, pueden ejecutar los siguientes comandos para desfijar sus versiones del núcleo:

  echo linux-aws install | sudo dpkg -set-selections
  echo linux-headers-aws install | sudo dpkg -set-selections
  echo linux-image-aws install | sudo dpkg -set-selections

• Para cada nueva versión de DLAMI, se utiliza el último núcleo compatible disponible.

• Se agregó soporte a la EC2 instancia P6e- 00. GB2 Tenga en cuenta que CUDA>=12.8 es compatible con la P6e-00 GB2

• Añada EFA 1.42.0

• Se actualizó el controlador Nvidia de la versión 570.133.20 a la 570.158.01

• Se actualizó la pila CUDA 12.8 con NCCL 2.27.5

• Se actualizó el controlador Nvidia de la versión 570.86.15 a la 570.133.20 para abordar la presencia de CVE en el boletín de seguridad de los controladores de pantalla de GPU de NVIDIA de abril de 2025

• Se actualizó la pila CUDA 12.8 con NCCL 2.26.2

• Se actualizó el CUDA predeterminado de 12.6 a 12.8

• Se eliminó CUDA 12.3

• Controlador Nvidia de 550.144.03 a 570.86.15

• El CUDA predeterminado se cambia de .1 a 6. CUDA12 CUDA12

• Directorio CUDA de 12.4 con NCCL compilado versión CUDA12 2.22.3+ .4 y cuDNN 9.7.1.26

• Directorio CUDA de 12.5 con NCCL compilado versión CUDA12 2.22.3+ .5 y cuDNN 9.7.1.26

• Directorio CUDA de 12.6 con NCCL compilado versión CUDA12 2.24.3+ .6 y cuDNN 9.7.1.26

• Directorio CUDA de 12.8 con NCCL compilado versión CUDA12 2.25.1+ .8 y cuDNN 9.7.1.26

• Directorio CUDA de 12.1 y 12.2

• Se actualizó el NVIDIA Container Toolkit de la versión 1.17.3 a la versión 1.17.4

  • Consulte la página de notas de la versión aquí para obtener más información:/1.17.4 https://github.com/NVIDIA/ nvidia-container-toolkit releases/tag/v

  • En la versión 1.17.4 del Container Toolkit, el montaje de bibliotecas compatibles con CUDA ahora está deshabilitado. Para garantizar la compatibilidad con varias versiones de CUDA en los flujos de trabajo de contenedores, asegúrese de actualizar su LD_LIBRARY_PATH para incluir las bibliotecas de compatibilidad con CUDA, tal y como se muestra en el tutorial sobre si utiliza una capa de compatibilidad CUDA.

• Se eliminaron las bibliotecas de espacio de usuario cuobj y nvdisasm proporcionadas por el kit de herramientas CUDA de NVIDIA para abordar las presentes en el boletín de seguridad del kit de herramientas NVIDIA CUDA del 18 de febrero de 2025 CVEs

• Se actualizó el controlador Nvidia de la versión 550.127.05 a la 550.144.03 para cumplir con lo indicado en el boletín de seguridad del controlador de pantalla de GPU de CVEs NVIDIA de enero de 2025

• Se actualizó el controlador Nvidia de la versión 550.90.07 a la 550.127.05 para adaptarlo a lo indicado en el boletín de seguridad de las pantallas de GPU de NVIDIA de octubre de CVEs 2024

• Se actualizó la versión del controlador Nvidia a 535.183.01 desde 535.161.08

• Versión inicial de la DLAMI OSS DLAMI de Deep Learning ARM64 Base para Ubuntu 22.04