AWS Processeur graphique AMI PyTorch 2.4 à apprentissage profond (Ubuntu 22.04)

• Pilote Nvidia OSS Deep Learning AMI GPU PyTorch 2.4. $ {PATCH_VERSION} (Ubuntu 22.04) $ {} YYYY-MM-DD

• Veuillez consulter la section Modifications importantes apportées à la DLAMI.

• Le Deep Learning avec OSS Nvidia Driver est compatible avec G4dn, G5, G6, Gr6, P4, P4de, P5, P5e, P5en.

• AWS Service pris en charge  : EC2

• Système d'exploitation  : Ubuntu 22.04

• Architecture informatique  : x86

• Python  : opt/condaenvs/pytorch///bin/python

• Pilote NVIDIA  :

  • Pilote OSS Nvidia : 550.144.03

• CUDA12.1 Stack NVIDIA  :

  • Chemin d'installation de CUDA, NCCL et CudDN ://cuda-12.4/ usr/local

  • CUDA par défaut : 12.4

    • PATH/usr/local/cuda pointe vers//cuda-12.4/ usr/local

    • Mise à jour des variables d'environnement ci-dessous :

      • LD_LIBRARY_PATH doit avoir//:/:/usr/localcuda/libusr/local/cuda:/ cuda/lib64 /x86_64- usr/local usr/local cuda/targets linux/lib

      • PATH à avoirusr/local/cuda/bin/:/usr/local/cuda/include/

  • Version NCCL du système compilé présente dans/usr/local/cuda/ : 2.21.5

  • PyTorch Version NCCL compilée à partir de l'environnement PyTorch conda : 2.20.5

• Lieu des tests NCCL :

  • all_reduce, all_gather et reduce_scatter ://cuda-xx. usr/local x/efa/test-cuda-xx.x/

  • Pour exécuter des tests NCCL, LD_LIBRARY_PATH est déjà mis à jour avec les chemins nécessaires.

    • Les PATH courants sont déjà ajoutés à LD_LIBRARY_PATH :

      • /opt/amazon/efa/lib:/opt/amazon/openmpi/lib:/opt/aws-ofi-nccl/lib:/usr/local/lib:/usr/lib

  • LD_LIBRARY_PATH est mis à jour avec les chemins de version CUDA

    • //cuda/lib:usr/local//: usr/local cuda/lib64 usr/local /cuda:///x86_64- usr/local cud/targets linux/lib

• Programme d’installation d’EFA : 1.34.0

• Nvidia GDRCopy : 2.4.1

• Moteur Nvidia Transformer : v1.11.0

• AWS Plugin OFI NCCL  : est installé dans le cadre du EFA Installer-aws

  • Chemin d'installation : /opt/aws-ofi-nccl/. /opt/aws-ofi-nccl/libLe chemin est ajouté à LD_LIBRARY_PATH.

  • Teste le chemin pour ring, message_transfer : /opt/aws-ofi-nccl/tests

  • Remarque : le PyTorch package est également livré avec un plugin AWS OFI NCCL lié dynamiquement en tant que package de aws-ofi-nccl-dlc package conda et PyTorch utilisera ce package à la place du système AWS OFI NCCL.

• AWS CLI v2 en tant que aws2 et AWS CLI v1 en tant que aws

• Type de volume EBS  : GP3

• Version de Python : 3.11

• Requête AMI-ID avec le paramètre SSM (par exemple, la région est us-east-1) :

  • Pilote OSS Nvidia :

    aws ssm get-parameter --region us-east-1 \
            --name /aws/service/deeplearning/ami/x86_64/oss-nvidia-driver-gpu-pytorch-2.4-ubuntu-22.04/latest/ami-id \
            --query "Parameter.Value" \
            --output text

• Requête AMI-ID avec AWSCLI (exemple : Region : us-east-1) :

  • Pilote OSS Nvidia :

    aws ec2 describe-images --region us-east-1 \
        --owners amazon \
        --filters 'Name=name,Values=Deep Learning OSS Nvidia Driver AMI GPU PyTorch 2.4.? (Ubuntu 22.04) ????????' 'Name=state,Values=available' \
        --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
        --output text

P5/P5e instances

• DeviceIndex est propre à chacun NetworkCard et doit être un entier non négatif inférieur à la limite d'ENI par. NetworkCard Sur P5, le nombre d'ENI par NetworkCard est de 2, ce qui signifie que les seules valeurs valides pour DeviceIndex sont 0 ou 1. Vous trouverez ci-dessous l'exemple de commande de lancement d'une instance EC2 P5 utilisant awscli affiché NetworkCardIndex du numéro 0 à 31 et DeviceIndex comme 0 pour la première interface et DeviceIndex comme 1 pour les 31 interfaces restantes.

• Mise à jour de NVIDIA Container Toolkit de la version 1.17.3 à la version 1.17.4

  • Consultez la page des notes de publication ici pour plus d'informations : https://github.com/NVIDIA/nvidia-container-toolkit/releases/tag/v1.17.4

  • Dans la version 1.17.4 de Container Toolkit, le montage des bibliothèques compatibles CUDA est désormais désactivé. Afin de garantir la compatibilité avec plusieurs versions de CUDA sur les flux de travail de conteneurs, assurez-vous de mettre à jour votre LD_LIBRARY_PATH pour inclure vos bibliothèques de compatibilité CUDA, comme indiqué dans le didacticiel Si vous utilisez une couche de compatibilité CUDA.

• Mise à niveau du pilote Nvidia de la version 550.127.05 à la version 550.144.03 pour répondre aux problèmes CVE présents dans le bulletin de sécurité des pilotes d'affichage des GPU NVIDIA de janvier 2025.

• En raison d'une modification apportée au noyau Ubuntu pour corriger un défaut de la fonctionnalité KASLR (Kernel Address Space Layout Randomization), les G4Dn/G5 instances ne peuvent pas initialiser correctement CUDA sur le pilote OSS Nvidia. Afin d'atténuer ce problème, cette DLAMI inclut une fonctionnalité qui charge dynamiquement le pilote propriétaire pour les instances G4Dn et G5. Veuillez prévoir une brève période d'initialisation pour ce chargement afin de garantir le bon fonctionnement de vos instances.

  • Pour vérifier l'état et la santé de ce service, vous pouvez utiliser les commandes suivantes :

• Ajout de Nvidia TransformerEngine v1.11.0 pour accélérer les modèles Transformer (pour plus de détails, veuillez vous référer à) https://docs.nvidia.com/deeplearning/transformer-engine/user-guide/index.html

• Mise à niveau de Nvidia Container Toolkit de la version 1.16.1 à la version 1.16.2, corrigeant la faille de sécurité. CVE-2024-0133

• Version initiale de la série Deep Learning AMI GPU PyTorch 2.4.1 (Ubuntu 22.04). Incluant un environnement Conda Pytorch complété par NVIDIA Driver R550, CUDA=12.4.1, CUDNN=8.9.7, NCCL=2.20.5 et EFA=1.34.0. PyTorch