AWS GPU AMI de aprendizado profundo PyTorch 2.5 (Ubuntu 22.04)

• Driver OSS Nvidia de aprendizado profundo AMI PyTorch GPU 2.5. $ {PATCH_VERSION} (Ubuntu 22.04) $ {YYYY-MM-DD}

• Consulte Alterações importantes no DLAMI.

• Aprendizado profundo com OSS O driver Nvidia suporta G4dn, G5, G6, Gr6, P4, P4de, P5, P5e, P5en.

• AWS Serviço suportado: Amazon EC2

• Sistema operacional: Ubuntu 22.04

• Arquitetura de computação: x86

• Python:/opt/conda/envs/pytorch/bin/python

• Controlador NVIDIA:

  • Controlador OSS Nvidia: 550.144.03

• Pilha NVIDIA CUDA12 4.4:

  • Caminho de instalação de CUDA, NCCL e cuDDN:/-12.4/ usr/local/cuda

  • CUDA padrão: 12,4

    • CAMINHO/usr/local/cuda points to /usr/local/cuda-12.4/

    • Variáveis de ambiente atualizadas abaixo:

      • LD_LIBRARY_PATH para ter/usr/local/cuda/lib:/usr/local/cuda/lib64:/usr/local/cuda:/usr/local/cuda/targets/x86_64-linux/lib

      • PATH para ter/usr/local/cuda/bin/:/usr/local/cuda/include/

  • Versão NCCL do sistema compilado presente em/usr/local/cuda/: 2.21.5

  • PyTorch Versão NCCL compilada do ambiente PyTorch conda: 2.21.5

• Local dos testes NCCL:

  • all_reduce, all_gather e reduce_scatter:/-cuda-xx.x/ usr/local/cuda-xx.x/efa/test

  • Para executar testes NCCL, o LD_LIBRARY_PATH já está atualizado com os caminhos necessários.

    • PATHs Os comuns já foram adicionados ao LD_LIBRARY_PATH:

      • /opt/amazon/efa/lib:/opt/amazon/openmpi/lib:/opt/aws-ofi-nccl/lib:/usr/local/lib:/usr/lib

  • LD_LIBRARY_PATH é atualizado com caminhos de versão CUDA

    • /usr/local/cuda/lib:/usr/local/cuda/lib64:/usr/local/cuda:/usr/local/cud/targets/x86_64-linux/lib

• Instalador EFA: 1.34.0

• Nvidia GDRCopy: 2.4.1

• Motor Nvidia Transformer: v1.11.0

• AWS OFI NCCL: 1.11.0-aws

  • O caminho de instalação:/opt/aws-ofi-nccl/ . Path /opt/aws-ofi-nccl/libé adicionado ao LD_LIBRARY_PATH.

  • Testa o caminho para o anel, message_transfer:/opt/aws-ofi-nccl/tests

  • Nota: o PyTorch pacote também vem com o plug-in AWS OFI NCCL vinculado dinamicamente como um pacote conda e PyTorch usará esse aws-ofi-nccl-dlc pacote em vez do sistema OFI NCCL. AWS

• AWS CLI v2 como aws2 e AWS CLI v1 como aws

• Tipo de volume do EBS: gp3

• Versão Python: 3.11

• Consulte o AMI-ID com o parâmetro SSM (a região do exemplo é us-east-1):

  • Controlador OSS Nvidia:

    aws ssm get-parameter --region us-east-1 \
            --name /aws/service/deeplearning/ami/x86_64/oss-nvidia-driver-gpu-pytorch-2.5-ubuntu-22.04/latest/ami-id  \
            --query "Parameter.Value" \
            --output text

• Consulte o AMI-ID com AWSCLI (a região de exemplo é us-east-1):

  • Controlador OSS Nvidia:

    aws ec2 describe-images --region us-east-1 \
        --owners amazon --filters 'Name=name,Values=Deep Learning OSS Nvidia Driver AMI GPU PyTorch 2.5.? (Ubuntu 22.04) ????????' 'Name=state,Values=available' \
        --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
        --output text

• DeviceIndex é exclusivo para cada um NetworkCard e deve ser um número inteiro não negativo menor que o limite de ENIs per. NetworkCard Em P5, o número de ENIs per NetworkCard é 2, o que significa que os únicos valores válidos para DeviceIndex são 0 ou 1. Abaixo está o exemplo do comando de inicialização da instância EC2 P5 usando awscli que aparece NetworkCardIndex do número 0-31 e DeviceIndex como 0 para a primeira interface e DeviceIndex como 1 para as demais 31 interfaces.

Kernel

• A versão do kernel é fixada usando o comando:

  echo linux-aws hold | sudo dpkg —set-selections
  echo linux-headers-aws hold | sudo dpkg —set-selections
  echo linux-image-aws hold | sudo dpkg —set-selections

• Recomendamos que os usuários evitem atualizar a versão do kernel (a menos que seja devido a um patch de segurança) para garantir a compatibilidade com os drivers instalados e as versões do pacote. Se os usuários ainda quiserem atualizar, eles podem executar os seguintes comandos para desafixar suas versões do kernel:

  echo linux-aws install | sudo dpkg —set-selections
  echo linux-headers-aws install | sudo dpkg —set-selections
  echo linux-image-aws install | sudo dpkg —set-selections
  apt-get upgrade -y

• Para cada nova versão do DLAMI, o kernel compatível mais recente disponível é usado.

• Kit de ferramentas de contêiner NVIDIA atualizado da versão 1.17.3 para a versão 1.17.4

  • Consulte a página de notas de lançamento aqui para obter mais informações: https://github.com/NVIDIA/nvidia-container-toolkit/releases/tag/v1.17.4

  • Na versão 1.17.4 do Container Toolkit, a montagem das bibliotecas de compatibilidade CUDA agora está desativada. Para garantir a compatibilidade com várias versões do CUDA em fluxos de trabalho de contêiner, certifique-se de atualizar seu LD_LIBRARY_PATH para incluir suas bibliotecas de compatibilidade CUDA, conforme mostrado no tutorial Se você usar uma camada de compatibilidade CUDA.

• As bibliotecas de espaço do usuário cuobj e nvdisasm foram removidas fornecidas pelo kit de ferramentas NVIDIA CUDA para abordar as CVEs presentes no boletim de segurança do kit de ferramentas NVIDIA CUDA de 18 de fevereiro de 2025

• O driver Nvidia foi atualizado da versão 550.127.05 para 550.144.03 para o endereço CVEs presente no boletim de segurança do driver de vídeo GPU NVIDIA de janeiro de 2025.

• Lançamento inicial da série Deep Learning AMI GPU PyTorch 2.4.1 (Ubuntu 22.04). Incluindo um ambiente conda pytorch complementado com NVIDIA Driver R550, CUDA=12.4.1, cuDNN=8.9.7, NCCL=2.21.5 e EFA=1.37.0. PyTorch

• Devido a uma alteração no kernel do Ubuntu para solucionar defeitos na funcionalidade KASLR (Kernel Address Space Layout Randomization), as instâncias G4Dn/G5 não conseguem inicializar adequadamente o CUDA no driver OSS Nvidia. Para mitigar esse problema, esse DLAMI inclui uma funcionalidade que carrega dinamicamente o driver proprietário para instâncias G4Dn e G5. Aguarde um breve período de inicialização para esse carregamento para garantir que suas instâncias funcionem corretamente.

  • Para verificar o status e a integridade desse serviço, você pode usar os seguintes comandos: