AWS AMI GPU ARM64 basée sur le Deep Learning (Amazon Linux 2)

• AMI GPU du pilote Nvidia OSS ARM64 basé sur le Deep Learning (Amazon Linux 2) $ {YYYY-MM-DD}

• G5g

• AWS Service pris en charge : Amazon EC2

• Système d'exploitation : Amazon Linux 2

• Architecture informatique : ARM64

• Noyau Linux : 5.10

• Pilote NVIDIA : 550.144.03

• Pile NVIDIA CUDA 12.1, 12.2, 12.3 :

  • Répertoires d'installation CUDA, NCCL et CudDN :

    • Exemple :/usr/local/cuda-12.1/ , /usr/local/cuda-12.1/

  • Version NCCL compilée :

    • Pour le répertoire CUDA de 12.3, compilé la version 2.21.5+ 4 de NCCL CUDA12

    • Pour les répertoires CUDA de 12.1, 12.2, version NCCL compilée 1.18.5+ 2. CUDA12

  • CUDA par défaut : 12.1

    • PATH/usr/local/cudapointe vers CUDA 12.1

    • Mise à jour des variables d'environnement ci-dessous :

      • LD_LIBRARY_PATH doit avoir/64 usr/local/cuda-12.1/lib:/usr/local/cuda-12.1/lib64:/usr/local/cuda-12.1:/usr/local/cuda-12.1/targets/sbsa-linux/lib:/usr/local/cuda-12.1/nvvm/lib64:/usr/local/cuda-12.1/extras/CUPTI/lib

      • CHEMIN à avoir/usr/local/cuda-12.1/bin/:/usr/local/cuda-12.1/include/

      • Pour toute autre version de CUDA, veuillez mettre à jour LD_LIBRARY_PATH en conséquence.

• AWS CLI v2 à/usr/local/bin/aws2 et AWS CLI v1 à/usr/bin/aws

• Type de volume EBS : GP3

• Boîte à outils pour conteneurs Nvidia : 1.16.2

  • Commande de version : nvidia-container-cli -V

• Docker : 26,12

• Python :/ usr/bin/python 3.10

• Requête AMI-ID avec le paramètre SSM (exemple : la région est us-east-1) :

  SSM_PARAMETER=base-oss-nvidia-driver-gpu-amazon-linux-2/latest/ami-id \
      aws ssm get-parameter --region us-east-1 \
      --name /aws/service/deeplearning/ami/arm64/$SSM_PARAMETER  \
      --query "Parameter.Value" \
      --output text

• Interrogez l'AMI-ID avec AWSCLI (par exemple, la région est us-east-1) :

  aws ec2 describe-images --region us-east-1 \
      -owners amazon \
      --filters 'Name=name,Values=Deep Learning ARM64 Base OSS Nvidia Driver GPU AMI (Amazon Linux 2) ????????' 'Name=state,Values=available' \
      --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
      --output text

Noyau

• La version du noyau est épinglée à l'aide de la commande :

  sudo yum versionlock kernel*

• Nous recommandons aux utilisateurs d'éviter de mettre à jour la version de leur noyau (sauf en cas de correctif de sécurité) afin de garantir la compatibilité avec les pilotes installés et les versions de package. Si les utilisateurs souhaitent toujours effectuer la mise à jour, ils peuvent exécuter les commandes suivantes pour déconnecter leur version du noyau :

  sudo yum versionlock delete kernel*
  sudo yum update -y

• Pour chaque nouvelle version de DLAMI, le dernier noyau compatible disponible est utilisé.

• Mise à jour de NVIDIA Container Toolkit de la version 1.17.3 à la version 1.17.4

  • Consultez la page des notes de publication ici pour plus d'informations : https://github.com/NVIDIA/nvidia-container-toolkit/releases/tag/v1.17.4

  • Dans la version 1.17.4 de Container Toolkit, le montage des bibliothèques de compatibilité CUDA est désormais désactivé. Afin de garantir la compatibilité avec plusieurs versions de CUDA sur les flux de travail de conteneurs, veillez à mettre à jour votre LD_LIBRARY_PATH pour inclure vos bibliothèques de compatibilité CUDA, comme indiqué dans le didacticiel Si vous utilisez une couche de compatibilité CUDA.

• Suppression des bibliothèques d'espace utilisateur cuobj et nvdisasm fournies par le kit d'outils NVIDIA CUDA pour remédier à un problème CVEs présent dans le bulletin de sécurité du kit d'outils NVIDIA CUDA du 18 février 2025

• Mise à niveau du pilote Nvidia de la version 550.127.05 à la version 550.144.03 pour corriger un problème CVEs présent dans le bulletin de sécurité du pilote d'affichage pour GPU NVIDIA de janvier 2025

• Mise à niveau du pilote Nvidia de la version 550.90.07 à la version 550.127.05 pour corriger un problème CVEs présent dans le bulletin de sécurité d'affichage des GPU NVIDIA d'octobre 2024

• Mise à niveau de Nvidia Container Toolkit de la version 1.16.1 à la version 1.16.2, corrigeant la vulnérabilité de sécurité CVE-2024-0133.

• Version du pilote Nvidia mise à jour vers 535.183.01 à partir de 535.161.08

• Première version du DLAMI OSS (Deep Learning ARM64 Base) pour Amazon Linux 2