AWS AMI de GPU de ARM64 base de aprendizado profundo (Amazon Linux 2)

• ARM64 Base de aprendizado profundo OSS Nvidia Driver GPU AMI (Amazon Linux 2) $ {YYYY-MM-DD}

• G5g

• AWS Serviço suportado: Amazon EC2

• Sistema operacional: Amazon Linux 2

• Arquitetura de computação: ARM64

• Kernel Linux: 5.10

• Driver NVIDIA: 550.144.03

• Pilha NVIDIA CUDA 12.1, 12.2, 12.3:

  • Diretórios de instalação CUDA, NCCL e cuDDN:

    • Exemplo:/usr/local/cuda-12.1/ , /usr/local/cuda-12.1/

  • Versão compilada da NCCL:

    • Para o diretório CUDA de 12.3, compilou a versão NCCL 2.21.5+ .4 CUDA12

    • Para o diretório CUDA de 12.1, 12.2, compilou a versão NCCL 1.8.5+ .2 CUDA12

  • CUDA padrão: 12.1

    • PATH/usr/local/cudaaponta para CUDA 12.1

    • Variáveis de ambiente atualizadas abaixo:

      • LD_LIBRARY_PATH deve ter/64 usr/local/cuda-12.1/lib:/usr/local/cuda-12.1/lib64:/usr/local/cuda-12.1:/usr/local/cuda-12.1/targets/sbsa-linux/lib:/usr/local/cuda-12.1/nvvm/lib64:/usr/local/cuda-12.1/extras/CUPTI/lib

      • PATH para ter/usr/local/cuda-12.1/bin/:/usr/local/cuda-12.1/include/

      • Para qualquer versão diferente do CUDA, atualize LD_LIBRARY_PATH adequadamente.

• AWS CLI v2 em/usr/local/bin/aws2 e AWS CLI v1 em/usr/bin/aws

• Tipo de volume do EBS: gp3

• Kit de ferramentas de contêiner Nvidia: 1.16.2

  • Comando de versão: nvidia-container-cli -V

• Docker: 26.1.2

• Python:/3.10 usr/bin/python

• Consulte o AMI-ID com o parâmetro SSM (a região do exemplo é us-east-1):

  SSM_PARAMETER=base-oss-nvidia-driver-gpu-amazon-linux-2/latest/ami-id \
      aws ssm get-parameter --region us-east-1 \
      --name /aws/service/deeplearning/ami/arm64/$SSM_PARAMETER  \
      --query "Parameter.Value" \
      --output text

• Consulte o AMI-ID com AWSCLI (a região de exemplo é us-east-1):

  aws ec2 describe-images --region us-east-1 \
      -owners amazon \
      --filters 'Name=name,Values=Deep Learning ARM64 Base OSS Nvidia Driver GPU AMI (Amazon Linux 2) ????????' 'Name=state,Values=available' \
      --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
      --output text

Kernel

• A versão do kernel é fixada usando o comando:

  sudo yum versionlock kernel*

• Recomendamos que os usuários evitem atualizar a versão do kernel (a menos que seja devido a um patch de segurança) para garantir a compatibilidade com os drivers instalados e as versões do pacote. Se os usuários ainda quiserem atualizar, eles podem executar os seguintes comandos para desafixar suas versões do kernel:

  sudo yum versionlock delete kernel*
  sudo yum update -y

• Para cada nova versão do DLAMI, o kernel compatível mais recente disponível é usado.

• Kit de ferramentas de contêiner NVIDIA atualizado da versão 1.17.3 para a versão 1.17.4

  • Consulte a página de notas de lançamento aqui para obter mais informações: https://github.com/NVIDIA/nvidia-container-toolkit/releases/tag/v1.17.4

  • Na versão 1.17.4 do Container Toolkit, a montagem das bibliotecas de compatibilidade CUDA agora está desativada. Para garantir a compatibilidade com várias versões do CUDA em fluxos de trabalho de contêineres, certifique-se de atualizar seu LD_LIBRARY_PATH para incluir suas bibliotecas de compatibilidade CUDA, conforme mostrado no tutorial Se você usar uma camada de compatibilidade CUDA.

• As bibliotecas de espaço do usuário cuobj e nvdisasm foram removidas fornecidas pelo kit de ferramentas NVIDIA CUDA para abordar as CVEs presentes no boletim de segurança do kit de ferramentas NVIDIA CUDA de 18 de fevereiro de 2025

• Driver Nvidia atualizado da versão 550.127.05 para 550.144.03 para o endereço CVEs presente no boletim de segurança do driver de vídeo GPU NVIDIA de janeiro de 2025

• Driver Nvidia atualizado da versão 550.90.07 para 550.127.05 para endereço CVEs presente no Boletim de Segurança do NVIDIA GPU Display de outubro de 2024

• Atualizou o Nvidia Container Toolkit da versão 1.16.1 para a 1.16.2, abordando a vulnerabilidade de segurança CVE-2024-0133.

• Versão atualizada do driver Nvidia para 535.183.01 de 535.161.08

• Lançamento inicial do Deep Learning ARM64 Base OSS DLAMI para Amazon Linux 2