AWS AMI de GPU de ARM64 base de aprendizado profundo (Amazon Linux 2023)

• ARM64 Base de aprendizado profundo OSS Nvidia Driver GPU AMI (Amazon Linux 2023) $ {YYYY-MM-DD}

• G5g, P6e- GB2 00 (CUDA>=12.8 é suportado em P6e- 00) GB2

• AWS Serviço suportado: Amazon EC2

• Sistema operacional: Amazon Linux 2023

• Arquitetura de computação: ARM64

• A versão mais recente disponível está instalada para os seguintes pacotes:

  • Kernel Linux: 6. 12

  • FSx Lustre

  • Docker

  • AWS CLI v2 em/usr/bin/aws

  • NVIDIA DCGM

  • Kit de ferramentas de contêiner Nvidia:

    • Comando de versão: nvidia-container-cli -V

  • NVIDIA-Docker 2:

    • Comando de versão: versão nvidia-docker

• Driver NVIDIA: 570.158.01

• Pilha NVIDIA CUDA 12.4, 12,5, 12,6, 12,8:

  • Diretórios de instalação CUDA, NCCL e cuDDN:/-xx.x/ usr/local/cuda

    • Exemplo:/usr/local/cuda-12.8/ , /usr/local/cuda-12.8/

  • Versão compilada da NCCL:

    • Para o diretório CUDA de 12.4, compilou a versão NCCL 2.22.3+ .4 CUDA12

    • Para o diretório CUDA de 12.5, compilou a versão NCCL 2.22.3+ .5 CUDA12

    • Para o diretório CUDA de 12.6, compilou a versão NCCL 2.24.3+ .6 CUDA12

    • Para o diretório CUDA de 12.8, compilou a versão NCCL 2.27.5+ .8 CUDA12

  • CUDA padrão: 12,8

    • PATH/usr/local/cudaaponta para CUDA 12.8

    • Variáveis de ambiente atualizadas abaixo:

      • LD_LIBRARY_PATH deve ter/64 usr/local/cuda-12.8/lib:/usr/local/cuda-12.8/lib64:/usr/local/cuda-12.8:/usr/local/cuda-12.8/targets/sbsa-linux/lib:/usr/local/cuda-12.8/nvvm/lib64:/usr/local/cuda-12.8/extras/CUPTI/lib

      • PATH para ter/usr/local/cuda-12.8/bin/:/usr/local/cuda-12.8/include/

      • Para qualquer versão diferente do CUDA, atualize LD_LIBRARY_PATH adequadamente.

• Instalador EFA: 1.42.0

• Nvidia GDRCopy: 2.5.1

• AWS O plugin OFI NCCL vem com o instalador EFA

  • Os caminhos/opt/amazon/ofi-nccl/lib and /opt/amazon/ofi-nccl/efasão adicionados ao LD_LIBRARY_PATH.

• AWS CLI v2 em/usr/local/bin/aws

• Tipo de volume do EBS: gp3

• Python:/3.9 usr/bin/python

• Consulte o AMI-ID com o parâmetro SSM (a região de exemplo é us-east-1):

  SSM_PARAMETER=base-oss-nvidia-driver-gpu-amazon-linux-2023/latest/ami-id \
      aws ssm get-parameter --region us-east-1 \
      --name /aws/service/deeplearning/ami/arm64/$SSM_PARAMETER  \
      --query "Parameter.Value" \
      --output text

• Consulte o AMI-ID com AWSCLI (a região de exemplo é us-east-1):

  aws ec2 describe-images --region us-east-1 --owners amazon --filters 'Name=name,Values=Deep Learning ARM64 Base OSS Nvidia Driver GPU AMI (Amazon Linux 2023) ????????' 'Name=state,Values=available' --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' --output text

Kernel

• A versão do kernel é fixada usando o comando:

  sudo dnf versionlock kernel*

• Recomendamos que os usuários evitem atualizar a versão do kernel (a menos que seja devido a um patch de segurança) para garantir a compatibilidade com os drivers instalados e as versões do pacote. Se os usuários ainda quiserem atualizar, eles podem executar os seguintes comandos para liberar suas versões do kernel:

  sudo dnf versionlock delete kernel*
  sudo dnf update -y

• Para cada nova versão do DLAMI, o kernel compatível mais recente disponível é usado.

• Foi adicionado suporte à EC2 instância P6e- 00. GB2 Observe que CUDA>=12.8 é suportado no P6e- 00 GB2

• Adicionar EFA 1.42.0

• Driver Nvidia atualizado da versão 570.133.20 para 570.158.01

• Pilha CUDA 12.8 atualizada com NCCL 2.27.5

• O driver Nvidia foi atualizado da versão 570.86.15 para 570.133.20 para o endereço CVEs presente no boletim de segurança do driver de vídeo GPU NVIDIA de abril de 2025

• Pilha CUDA12 3.8 atualizada com NCCL 2.26.2

• CUDA padrão atualizado de 12,6 para 12,8

• Driver Nvidia atualizado da versão 570.124.06 para 570.133.20 para o endereço CVEs presente no boletim de segurança do driver de vídeo GPU NVIDIA de abril de 2025

• Versão do kernel atualizada de 6.1 para 6.12

• Driver Nvidia de 550.144.03 a 570.86.15

• O CUDA padrão foi alterado de CUDA12 4,4 para 0,6 CUDA12

• Diretório CUDA de 12.5 com NCCL versão CUDA12 2.22.3+ .5 compilada e cuDNN 9.7.1.26

• Diretório CUDA de 12.6 com NCCL versão CUDA12 2.24.3+ .6 compilada e cuDNN 9.7.1.26

• Diretório CUDA de 12.8 com NCCL compilado versão CUDA12 2.25.1+ .8 e cuDNN 9.7.1.26

• Lançamento inicial do Deep Learning ARM64 Base OSS DLAMI para Amazon Linux 2023