AWS AMI GPU PyTorch 2.6 de aprendizado profundo (Amazon Linux 2023)

• Driver OSS NVIDIA de aprendizado profundo AMI GPU PyTorch 2.6.0 (Amazon Linux 2023) $ {YYY-MM-DD}

• Consulte Alterações importantes no DLAMI

• Aprendizado profundo com OSS O driver NVIDIA suporta G4dn, G5, G6, Gr6, G6e, P4d, P4de, P5, P5e, P5en

• AWS Serviço suportado: EC2

• Sistema operacional: Amazon Linux 2023

• Arquitetura de computação: x86

• Pilha NVIDIA CUDA12 6.6:

  • Caminho de instalação de CUDA, NCCL e cuDDN:/-12.6/ usr/local/cuda

  • CUDA padrão: 12,6

    • CAMINHO/usr/local/cuda points to /usr/local/cuda-12,6/

    • Variáveis de ambiente atualizadas abaixo:

      • LD_LIBRARY_PATH para ter/usr/local/cuda/lib:/usr/local/cuda/lib64:/usr/local/cuda:/usr/local/cud/targets/x86_64-linux/lib

      • PATH para ter/usr/local/cuda/bin/:/usr/local/cuda/include/

  • Versão NCCL compilada para 12.6:2.24.3

• Local dos testes NCCL:

  • all_reduce, all_gather e reduce_scatter:/-cuda-xx.x/ usr/local/cuda-xx.x/efa/test

  • Para executar testes NCCL, o LD_LIBRARY_PATH já está atualizado com os caminhos necessários.

    • PATHs Os comuns já foram adicionados ao LD_LIBRARY_PATH:

      • /opt/amazon/efa/lib:/opt/amazon/openmpi/lib:/opt/aws-ofi-nccl/lib:/usr/local/lib:/usr/lib

    • LD_LIBRARY_PATH é atualizado com caminhos de versão CUDA

      • /usr/local/cuda/lib:/usr/local/cuda/lib64:/usr/local/cuda:/usr/local/cud/targets/x86_64-linux/lib

• Instalador EFA: 1.38.0

• Nvidia GDRCopy: 2.4.1

• AWS OFI NCCL: 1.13.2-aws

  • AWS O OFI NCCL agora suporta várias versões do NCCL com uma única compilação

  • O caminho de instalação:/opt/amazon/ofi-nccl/ . Path /opt/amazon/ofi-nccl/libé adicionado ao LD_LIBRARY_PATH.

• Versão Python: 3.12

• Python:/opt/pytorch/bin/python

• Driver NVIDIA: 570.86.15

• AWS CLI v2 em/usr/bin/aws

• Tipo de volume do EBS: gp3

• NVMe Local do armazenamento de instâncias (em EC2 instâncias compatíveis):/opt/dlami/nvme

• Consulte o AMI-ID com o parâmetro SSM (a região do exemplo é us-east-1):

  • Controlador OSS Nvidia:

    aws ssm get-parameter --region us-east-1 \
        --name /aws/service/deeplearning/ami/x86_64/oss-nvidia-driver-gpu-pytorch-2.6-amazon-linux-2023/latest/ami-id  \
        --query "Parameter.Value" \
        --output text

• Consulte o AMI-ID com AWSCLI (a região de exemplo é us-east-1):

  • Controlador OSS Nvidia:

    aws ec2 describe-images --region us-east-1 \
        --owners amazon --filters 'Name=name,Values=Deep Learning OSS Nvidia Driver AMI GPU PyTorch 2.6.? (Amazon Linux 2023) ????????' 'Name=state,Values=available' \
        --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
        --output text

• DeviceIndex é exclusivo para cada um NetworkCard e deve ser um número inteiro não negativo menor que o limite de ENIs per. NetworkCard Em P5, o número de ENIs per NetworkCard é 2, o que significa que os únicos valores válidos para DeviceIndex são 0 ou 1. Abaixo está o exemplo do comando de inicialização da instância EC2 P5 usando awscli que aparece NetworkCardIndex do número 0-31 e DeviceIndex como 0 para a primeira interface e DeviceIndex como 1 para as demais 31 interfaces.

Kernel

• A versão do kernel é fixada usando o comando: 

  sudo dnf versionlock kernel*

• Recomendamos que os usuários evitem atualizar a versão do kernel (a menos que seja devido a um patch de segurança) para garantir a compatibilidade com os drivers instalados e as versões do pacote. Se os usuários ainda quiserem atualizar, eles podem executar os seguintes comandos para desafixar suas versões do kernel: 

  sudo dnf versionlock delete kernel*
  sudo dnf update -y

• Para cada nova versão do DLAMI, o kernel compatível mais recente disponível é usado.

• Lançamento inicial do Deep Learning OSS Nvidia Driver AMI GPU 2.6 PyTorch para Amazon Linux 2023

  • A partir da versão PyTorch 2.6, o Pytorch descontinuou o suporte para o Conda. Como resultado, o Pytorch 2.6 e versões posteriores passarão a usar ambientes virtuais Python. Para ativar o pytorch venv, use a fonte/opt/pytorch/bin/activate