AWS AMI de GPU de base de aprendizado profundo (Amazon Linux 2023)

• Base de aprendizado profundo OSS Nvidia Driver GPU AMI (Amazon Linux 2023) $ {YYYY-MM-DD}

• Consulte Alterações importantes no DLAMI

• Aprendizado profundo com OSS O driver Nvidia suporta G4dn, G5, G6, Gr6, G6e, P4d, P4de, P5, P5e, P5en, P6-B200

• AWS Serviço suportado: Amazon EC2

• Sistema operacional: Amazon Linux 2023

• Arquitetura de computação: x86

• A versão mais recente disponível está instalada para os seguintes pacotes:

  • Kernel Linux: 6.1

  • FSx Lustre

  • NVIDIA GDS

  • Docker

  • AWS CLI v2 em/usr/local/bin/aws2 e AWS CLI v1 em/usr/bin/aws

  • NVIDIA DCGM

  • Kit de ferramentas de contêiner Nvidia:

    • Comando de versão: nvidia-container-cli -V

  • NVIDIA-Docker 2:

    • Comando de versão: versão nvidia-docker

• Driver NVIDIA: 570.133.20

• Pilha NVIDIA CUDA 12.4-12.6 e 12.8:

  • Diretórios de instalação CUDA, NCCL e cuDDN:/-xx.x/ usr/local/cuda

    • Exemplo:/usr/local/cuda-12.8/ , /usr/local/cuda-12.8/

  • Versão compilada da NCCL: 2.26.5

  • CUDA padrão: 12,8

    • PATH/usr/local/cudaaponta para CUDA 12.8

    • Variáveis de ambiente atualizadas abaixo:

      • LD_LIBRARY_PATH para ter/usr/local/cuda-12.8/lib:/usr/local/cuda-12.8/lib64:/usr/local/cuda-12.8:/usr/local/cuda-12.4/targets/x86_64-linux/lib

      • PATH para ter/usr/local/cuda-12.8/bin/:/usr/local/cuda-12.8/include/

      • Para qualquer versão diferente do CUDA, atualize LD_LIBRARY_PATH adequadamente.

• Instalador EFA: 1.40.0

• Nvidia GDRCopy: 2,5

• AWS OFI NCCL: 1.14.2-aws

  • AWS O OFI NCCL agora suporta várias versões do NCCL com uma única compilação

  • O caminho de instalação:/opt/amazon/ofi-nccl/ . Path /opt/amazon/ofi-nccl/libé adicionado ao LD_LIBRARY_PATH.

• AWS CLI v2 em/usr/local/bin/aws2 e AWS CLI v1 em/usr/bin/aws

• Tipo de volume do EBS: gp3

• Python:/3.9 usr/bin/python

• NVMe Local do armazenamento de instâncias (em EC2 instâncias compatíveis):/opt/dlami/nvme

• Consulte o AMI-ID com o parâmetro SSM (a região do exemplo é us-east-1):

  • Controlador OSS Nvidia:

    aws ssm get-parameter --region us-east-1 \
        --name /aws/service/deeplearning/ami/x86_64/base-oss-nvidia-driver-gpu-al2023/latest/ami-id \
        --query "Parameter.Value" --output text

• Consulte o AMI-ID com AWSCLI (a região de exemplo é us-east-1):

  • Controlador OSS Nvidia:

    aws ec2 describe-images --region us-east-1 \
        --owners amazon \
        --filters 'Name=name,Values=Deep Learning Base OSS Nvidia Driver GPU AMI (Amazon Linux 2023) ????????' 'Name=state,Values=available' \
        --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
        --output text

Kernel

• A versão do kernel é fixada usando o comando:

  sudo dnf versionlock kernel*

• Recomendamos que os usuários evitem atualizar a versão do kernel (a menos que seja devido a um patch de segurança) para garantir a compatibilidade com os drivers instalados e as versões do pacote. Se os usuários ainda quiserem atualizar, eles podem executar os seguintes comandos para desafixar suas versões do kernel:

  sudo dnf versionlock delete kernel*
  sudo dnf update -y

• Para cada nova versão do DLAMI, o kernel compatível mais recente disponível é usado.

• Suporte adicional para instâncias P6-B200 EC2

• Instalador EFA atualizado da versão 1.38.1 para 1.40.0

• Atualizado GDRCopy da versão 2.4 para 2.5

• Plugin AWS OFI NCCL atualizado da versão 1.13.0-aws para 1.14.2-aws

• Versão NCCL compilada atualizada da versão 2.25.1 para 2.26.5

• Versão CUDA padrão atualizada da versão 12.6 para 12.8

• Versão Nvidia DCGM atualizada de 3.3.9 para 4.4.3

• Driver Nvidia atualizado da versão 570.124.06 para 570.133.20 para o endereço CVEs presente no boletim de segurança do driver de vídeo GPU NVIDIA de abril de 2025

• Suporte adicional para NVIDIA GPU Direct Storage (GDS)

• Kit de ferramentas de contêiner NVIDIA atualizado da versão 1.17.3 para a versão 1.17.4

  • Consulte a página de notas de lançamento aqui para obter mais informações: https://github.com/NVIDIA/nvidia-container-toolkit/releases/tag/v1.17.4

  • Na versão 1.17.4 do Container Toolkit, a montagem das bibliotecas de compatibilidade CUDA agora está desativada. Para garantir a compatibilidade com várias versões do CUDA em fluxos de trabalho de contêineres, certifique-se de atualizar seu LD_LIBRARY_PATH para incluir suas bibliotecas de compatibilidade CUDA, conforme mostrado no tutorial Se você usar uma camada de compatibilidade CUDA.

• As bibliotecas de espaço do usuário cuobj e nvdisasm foram removidas fornecidas pelo kit de ferramentas NVIDIA CUDA para abordar as CVEs presentes no boletim de segurança do kit de ferramentas NVIDIA CUDA de 18 de fevereiro de 2025

• Foi adicionado o kit de ferramentas CUDA versão 12.6 no diretório/-12.6 usr/local/cuda

• Suporte adicional para instâncias G5 EC2

• As versões 12.1 e 12.2 do CUDA foram removidas deste DLAMI. Os clientes que precisam dessas versões do kit de ferramentas CUDA podem instalá-las diretamente da NVIDIA usando o link abaixo

  • https://developer.nvidia.com/cuda-toolkit-archive

• Versão EFA atualizada de 1.37.0 para 1.38.0

  • O EFA agora inclui o plug-in AWS OFI NCCL, que agora pode ser encontrado em/-ofi-nccl/. opt/amazon/ofi-nccl rather than the original /opt/aws Se estiver atualizando sua variável LD_LIBRARY_PATH, certifique-se de modificar a localização do OFI NCCL corretamente.

• Kit de ferramentas de contêiner Nvidia atualizado de 1.17.3 para 1.17.4

• Suporte adicionado para instâncias G4dn

• Kit de ferramentas de contêiner Nvidia atualizado da versão 1.17.0 para 1.17.3

• Foi adicionado suporte para instâncias P5en. EC2

• Instalador EFA atualizado da versão 1.35.0 para 1.37.0

• Atualize o plug-in AWS OFI NCCL da versão 1.121-aws para 1.13.0-aws

• Lançamento inicial do Deep Learning Base OSS DLAMI para Amazon Linux 2023

• Esse DLAMI não oferece suporte às instâncias G4dn e EC2 G5 no momento. AWS está ciente de uma incompatibilidade que pode resultar em falhas de inicialização do CUDA, afetando as famílias de instâncias G4dn e G5 ao usar os drivers NVIDIA de código aberto junto com um kernel Linux versão 6.1 ou mais recente. Esse problema afeta distribuições Linux, como Amazon Linux 2023, Ubuntu 22.04 ou mais recente, ou SUSE Linux Enterprise Server 15 SP6 ou mais recente, entre outras.