AWS GPU AMI PyTorch 2.4 de aprendizaje profundo (Ubuntu 22.04)

• Driver Nvidia OSS de aprendizaje profundo AMI GPU PyTorch 2.4. $ {PATCH_VERSION} (Ubuntu 22.04) $ {} YYYY-MM-DD

• Consulte Cambios importantes en las DLAMI.

• El aprendizaje profundo con el controlador NVIDIA de código abierto admite G4dn, G5, G6, Gr6, P4, P4de, P5, P5e y P5en.

• Servicio compatible: EC2 AWS

• Sistema operativo: Ubuntu 22.04

• Arquitectura de computación: x86

• Python://opt/conda/envs/pytorchbin/python

• Controlador de NVIDIA:

  • Controlador con software de código abierto de NVIDIA: 550.144.03

• Pila CUDA12.1 de NVIDIA:

  • Ruta de instalación de CUDA, NCCL y cuDDN://cuda-12.4/ usr/local

  • CUDA predeterminado: 12.4

    • usr/localPATH/usr/local/cuda apunta a//cuda-12.4/

    • Se han actualizado las siguientes variables de entorno:

      • LD_LIBRARY_PATH debe tener//://cuda:///x86_64- usr/local cuda/lib usr/local cuda/lib64 usr/local usr/local cuda/targets linux/lib

      • PATH para tenerusr/local/cuda/bin/cuda/include/usr/local:///

  • La versión NCCL del sistema compilado está presente en/usr/local/cuda/: 2.21.5

  • PyTorch Versión NCCL compilada del entorno conda: 2.20.5 PyTorch

• Ubicación de las pruebas de NCCL:

  • all_reduce, all_gather y reduce_scatter://cuda-xx. usr/local x/efa/test-cuda-xx.x/

  • Para ejecutar las pruebas de NCCL, LD_LIBRARY_PATH ya se ha actualizado con las rutas necesarias.

    • Los PATH comunes ya están agregados a LD_LIBRARY_PATH:

      • /opt/amazon/efa/lib:/opt/amazon/openmpi/lib:/opt/aws-ofi-nccl/lib:/usr/local/lib:/usr/lib

  • LD_LIBRARY_PATH se ha actualizado con las rutas de la versión de CUDA

    • //://:/usr/localcuda/lib/cuda:/ /x86_64- usr/local cuda/lib64 usr/local usr/local cud/targets linux/lib

• Instalador de EFA: 1.34.0

• NVIDIA GDRCopy: 2.4.1

• NVIDIA Transformer Engine: v1.11.0

• AWS Plugin OFI NCCL: se instala como parte del EFA Installer-aws

  • Ruta de instalación:. /opt/aws-ofi-nccl/ /opt/aws-ofi-nccl/libLa ruta se agrega a LD_LIBRARY_PATH.

  • Comprueba la ruta del anillo, message_transfer: /opt/aws-ofi-nccl/tests

  • Nota: el PyTorch paquete también viene con el complemento AWS OFI NCCL vinculado dinámicamente como un paquete conda y PyTorch utilizará ese aws-ofi-nccl-dlc paquete en lugar del OFI NCCL del sistema. AWS

• AWS CLI v2 como y v1 como aws2 AWS CLI aws

• Tipo de volumen EBS: gp3

• Versión de Python: 3.11

• Consulta AMI-ID con el parámetro SSM (la región de ejemplo es us-east-1):

  • Controlador NVIDIA de código abierto:

    aws ssm get-parameter --region us-east-1 \
            --name /aws/service/deeplearning/ami/x86_64/oss-nvidia-driver-gpu-pytorch-2.4-ubuntu-22.04/latest/ami-id \
            --query "Parameter.Value" \
            --output text

• Consulta AMI-ID con AWSCLI (por ejemplo, la región es us-east-1):

  • Controlador con software de código abierto de NVIDIA:

    aws ec2 describe-images --region us-east-1 \
        --owners amazon \
        --filters 'Name=name,Values=Deep Learning OSS Nvidia Driver AMI GPU PyTorch 2.4.? (Ubuntu 22.04) ????????' 'Name=state,Values=available' \
        --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
        --output text

P5/P5e instancias

• DeviceIndex es único para cada NetworkCard una y debe ser un entero no negativo inferior al límite de ENI por. NetworkCard En P5, el número de ENI por NetworkCard es 2, lo que significa que los únicos valores válidos para DeviceIndex son 0 o 1. A continuación se muestra un ejemplo del comando de lanzamiento de una instancia P5 de EC2 con awscli, NetworkCardIndex del 0 al 31 y DeviceIndex como 0 para la primera interfaz y DeviceIndex como 1 para las 31 restantes.

• Se ha actualizado el kit de herramientas de contenedores de NVIDIA de la versión 1.17.3 a la versión 1.17.4.

  • Consulte la página de notas de la versión aquí para obtener más información: https://github.com/NVIDIA/nvidia-container-toolkit/releases/tag/v1.17.4

  • En la versión 1.17.4 del kit de herramientas de contenedores, el montaje de bibliotecas de compatibilidad con CUDA se ha desactivado. Para garantizar la compatibilidad con varias versiones de CUDA en los flujos de trabajo de contenedores, asegúrese de actualizar su LD_LIBRARY_PATH para incluir las bibliotecas de compatibilidad con CUDA, tal y como se muestra en el tutorial Si utiliza una capa de compatibilidad CUDA.

• Se ha actualizado el controlador de NVIDIA de la versión 550.127.05 a la 550.144.03 para corregir los CVE que figuran en el boletín de seguridad de los controladores de pantalla de GPU de NVIDIA de enero de 2025.

• Debido a un cambio en el kernel de Ubuntu para corregir un defecto en la funcionalidad KASLR (asignación aleatoria del espacio de direcciones del kernel), las G4Dn/G5 instancias no pueden inicializar correctamente CUDA en el controlador OSS Nvidia. Para mitigar este problema, esta DLAMI incluye una funcionalidad que carga dinámicamente el controlador propietario para las instancias G4Dn y G5. Espere un breve período de inicialización para que se realice esta carga y así garantizar que sus instancias funcionen correctamente.

  • Puede utilizar los siguientes comandos para comprobar el estado y la condición del servicio:

• Se agregó la TransformerEngine versión 1.11.0 de Nvidia para acelerar los modelos Transformer (para obtener más información, consulte) https://docs.nvidia.com/deeplearning/transformer-engine/user-guide/index.html

• Se actualizó Nvidia Container Toolkit de la versión 1.16.1 a la 1.16.2 para solucionar la vulnerabilidad de seguridad. CVE-2024-0133

• Versión inicial de la serie Deep Learning AMI GPU PyTorch 2.4.1 (Ubuntu 22.04). Incluye un entorno conda, pyTorch complementado con el controlador NVIDIA R550, CUDA=12.4.1, cudnn=8.9.7, NCCL=2.20.5 y EFA=1.34.0. PyTorch