Solution CloudWatch : charge de travail du GPU NVIDIA sur Amazon EC2

Cette solution vous aide à configurer la collecte de métriques prête à l’emploi à l’aide des agents CloudWatch pour les charges de travail du GPU NVIDIA s’exécutant sur des instances EC2. En outre, elle vous aide à mettre en place un tableau de bord CloudWatch préconfiguré. Pour des informations générales sur toutes les solutions d’observabilité CloudWatch, consultez Solutions d’observabilité CloudWatch.

Prérequis

Cette solution est pertinente pour les conditions suivantes :

Avantages

La solution assure la surveillance de NVIDIA et fournit des informations précieuses pour les cas d’utilisation suivants :

Vous trouverez ci-dessous les principaux avantages de la solution :

L’image suivante est un exemple de tableau de bord pour cette solution.

Coûts

Cette solution crée et utilise des ressources dans votre compte. Les coûts d’utilisation standard vous sont facturés, y compris les éléments suivants :

Pour plus d'informations sur la tarification CloudWatch, consultez Tarification d'Amazon CloudWatch.

Le calculateur de prix peut vous aider à estimer les coûts mensuels approximatifs de l’utilisation de cette solution.

Configuration de l’agent CloudWatch pour cette solution

L’agent CloudWatch est un logiciel qui s’exécute en continu et de manière autonome sur vos serveurs et dans les environnements conteneurisés. Il collecte des métriques, des journaux et des traces à partir de votre infrastructure et de vos applications et les envoie à CloudWatch et X-Ray.

Pour plus d’informations sur l’agent CloudWatch, consultez Collecte des métriques, des journaux et des suivis à l’aide de l’agent CloudWatch.

La configuration de l’agent dans cette solution collecte un ensemble de métriques pour vous aider à démarrer la surveillance et l’observation de votre GPU NVIDIA. L’agent CloudWatch peut être configuré pour collecter plus de métriques du GPU NVIDIA que le tableau de bord n’en affiche par défaut. Pour obtenir une liste de toutes les métriques du GPU NVIDIA que vous pouvez collecter, consultez Collecter des métriques GPU NVIDIA .

Configuration de l’agent pour cette solution

Les métriques collectées par l’agent sont définies dans la configuration de l’agent. La solution fournit des configurations d’agent pour collecter les métriques recommandées avec des dimensions appropriées pour le tableau de bord de la solution.

Utilisez la configuration suivante de l’agent CloudWatch sur les instances EC2 dotées du GPU NVIDIA. La configuration sera stockée en tant que paramètre dans le magasin de paramètres de SSM, comme détaillé plus loin dans Étape 2 : stockez le fichier de configuration recommandé de l’agent CloudWatch dans le magasin de paramètres de Systems Manager..

{
    "metrics": {
        "namespace": "CWAgent",
        "append_dimensions": {
            "InstanceId": "${aws:InstanceId}"
        },
        "metrics_collected": {
            "nvidia_gpu": {
                "measurement": [
                    "utilization_gpu",
                    "temperature_gpu",
                    "power_draw",
                    "utilization_memory",
                    "fan_speed",
                    "memory_total",
                    "memory_used",
                    "memory_free",
                    "pcie_link_gen_current",
                    "pcie_link_width_current",
                    "encoder_stats_session_count",
                    "encoder_stats_average_fps",
                    "encoder_stats_average_latency",
                    "clocks_current_graphics",
                    "clocks_current_sm",
                    "clocks_current_memory",
                    "clocks_current_video"
                ],
                "metrics_collection_interval": 60
            }
        }
    },
    "force_flush_interval": 60
}

Déployer l’agent pour votre solution

Il existe plusieurs approches pour installer l’agent CloudWatch, en fonction du cas d’utilisation. Nous vous recommandons d’utiliser Systems Manager pour cette solution. Il offre une expérience de console et simplifie la gestion d’une flotte de serveurs gérés au sein d’un seul compte AWS. Les instructions de cette section utilisent Systems Manager et sont destinées aux cas où vous n’avez pas l’agent CloudWatch en cours d’exécution avec les configurations existantes. Vous pouvez vérifier si l’agent CloudWatch est en cours d’exécution en suivant les étapes de la section Vérification de l'exécution de l'agent CloudWatch.

Si vous exécutez déjà l’agent CloudWatch sur les hôtes EC2 où la charge de travail est déployée et que vous gérez les configurations de l’agent, vous pouvez ignorer les instructions de cette section et suivre votre mécanisme de déploiement existant pour mettre à jour la configuration. Veillez à fusionner la configuration de l’agent de GPU NVIDIA avec votre configuration d’agent existante, puis déployez la configuration fusionnée. Si vous utilisez Systems Manager pour stocker et gérer la configuration de l’agent CloudWatch, vous pouvez fusionner la configuration avec la valeur de paramètre existante. Pour plus d’informations, consultez Gestion des fichiers de configuration de l’agent CloudWatch.

Le processus de déploiement comprend les étapes suivantes :

Étape 1 : assurez-vous que les instances EC2 cibles disposent des autorisations IAM requises.

Vous devez accorder l’autorisation à Systems Manager d’installer et de configurer l’agent CloudWatch. Vous devez également accorder l’autorisation à l’agent CloudWatch de publier la télémétrie de votre instance EC2 vers CloudWatch. Assurez-vous que le rôle IAM attaché à l’instance dispose des politiques IAM CloudWatchAgentServerPolicy et AmazonSSMManagedInstanceCore.

Étape 2 : stockez le fichier de configuration recommandé de l’agent CloudWatch dans le magasin de paramètres de Systems Manager.

Le magasin de paramètres simplifie l’installation de l’agent CloudWatch sur une instance EC2 en stockant et en gérant de manière sécurisée les paramètres de configuration, éliminant ainsi le besoin de valeurs codées en dur. Cela garantit un processus de déploiement plus sûr et plus flexible, permettant une gestion centralisée et des mises à jour plus faciles des configurations sur plusieurs instances.

Suivez les étapes suivantes pour stocker le fichier de configuration de l’agent CloudWatch recommandé en tant que paramètre dans le magasin de paramètres.

Étape 3 : installez l’agent CloudWatch et appliquez la configuration à l’aide d’un modèle CloudFormation.

Vous pouvez utiliser AWS CloudFormation pour installer l’agent et le configurer pour utiliser la configuration de l’agent CloudWatch que vous avez créée dans les étapes précédentes.

Si vous voulez d’abord modifier le fichier modèle pour le personnaliser, choisissez l’option Charger un fichier modèle sous Assistant de création de pile pour charger le modèle modifié. Pour plus d’informations, consultez Création d’une pile sur la console CloudFormation.

Étape 4 : vérifiez que la configuration de l’agent est correcte

Vous pouvez vérifier si l’agent CloudWatch est installé en suivant les étapes de l’étape Vérification de l'exécution de l'agent CloudWatch. Si l’agent CloudWatch n’est pas installé et ne fonctionne pas, assurez-vous que vous avez tout configuré correctement.

Si tout est configuré correctement, vous devriez alors voir les métriques du GPU NVIDIA être publiées sur CloudWatch. Vous pouvez consulter la console CloudWatch pour vérifier qu’elles sont bien publiées.

Créer le tableau de bord de la solution de GPU NVIDIA

Le tableau de bord fourni par cette solution présente les métriques des GPU NVIDIA en regroupant et en présentant les métriques de toutes les instances. Le tableau de bord présente une répartition des principaux contributeurs (les 10 premiers par widget de métrique) pour chaque métrique. Cela vous aide à identifier rapidement les valeurs aberrantes ou les instances qui contribuent de manière significative aux métriques observées.

Pour créer le tableau de bord, vous pouvez utiliser les options suivantes :

En utilisant la console CloudWatch pour créer un tableau de bord, vous pouvez prévisualiser le tableau de bord avant de le créer et de le facturer.

Si vous voulez modifier le fichier modèle pour l’adapter à vos besoins, vous pouvez utiliser l’option Charger un fichier modèle sous Assistant de création de pile pour charger le modèle modifié. Pour plus d’informations, consultez Création d’une pile sur la console CloudFormation. Vous pouvez utiliser ce lien pour télécharger le modèle : https://aws-observability-solutions-prod-us-east-1.s3.us-east-1.amazonaws.com/NVIDIA_GPU_EC2/CloudWatch/CFN/v1.0.0/dashboard-template-1.0.0.json .

Démarrer avec le tableau de bord du GPU NVIDIA

Voici quelques tâches que vous pouvez essayer avec le nouveau tableau de bord du GPU NVIDIA. Ces tâches vous permettront de vérifier que le tableau de bord fonctionne correctement et de vous familiariser avec son utilisation pour surveiller vos GPU NVIDIA. Au fur et à mesure de vos essais, vous vous familiariserez avec la navigation dans le tableau de bord et l’interprétation des métriques visualisées.

Examiner l’utilisation du GPU

Dans la section Utilisation, trouvez les widgets Utilisation du GPU et Utilisation de la mémoire. Ils indiquent le pourcentage de temps pendant lequel le GPU est activement utilisé pour les calculs et le pourcentage de mémoire globale en cours de lecture ou d’écriture, respectivement. Une utilisation élevée peut indiquer des goulets d’étranglement potentiels au niveau des performances ou le besoin de ressources GPU supplémentaires.

Analyser l’utilisation de la mémoire du GPU

Dans la section Mémoire, vous trouverez les widgets Mémoire totale, Mémoire utilisée et Mémoire libre. Ces widgets fournissent des informations sur la capacité de mémoire globale des GPU et sur la quantité de mémoire actuellement consommée ou disponible. La sollicitation de la mémoire peut entraîner des problèmes de performances ou des erreurs hors mémoire. Il est donc important de surveiller ces métriques et de s’assurer que la mémoire disponible est suffisante pour vos charges de travail.

Surveiller la température et la consommation d’énergie

Dans la section Température/Puissance, vous trouverez les widgets Température du GPU et Consommation d’énergie. Ces métriques sont essentielles pour s’assurer que vos GPU fonctionnent dans des limites thermiques et de puissance sûres.

Identifier les performances de l’encodeur

Dans la section Encodeur, vous trouverez les widgets Nombre de sessions d’encodage, FPS moyen et Latence moyenne. Ces métriques sont importantes si vous exécutez des charges de travail d’encodage vidéo sur vos GPU. Surveillez ces métriques pour vous assurer que vos encodeurs fonctionnent de manière optimale et pour identifier tout goulot d’étranglement potentiel ou problème de performance.

Contrôler le statut de la liaison PCIe

Dans la section PCIe, vous trouverez les widgets Génération de lien PCIe et Largeur de lien PCIe. Ces métriques fournissent des informations sur la liaison PCIe qui relie le GPU au système hôte. Assurez-vous que le lien fonctionne à la génération et à la largeur attendues afin d’éviter d’éventuelles limitations de performances dues à des goulots d’étranglement PCIe.

Examiner les horloges du GPU

Dans la section Horloge, vous trouverez les widgets Horloge graphique, Horloge SM, Horloge mémoire et Horloge vidéo. Ces métriques indiquent les fréquences de fonctionnement actuelles des différents composants du GPU. La surveillance de ces horloges peut aider à identifier les problèmes potentiels liés à la mise à l’échelle de l’horloge du GPU ou au limiteur de fréquence, qui pourraient avoir un impact sur les performances.