PERF02-BP06 Utiliser des accélérateurs de calcul matériels optimisés
Utilisez des accélérateurs matériels pour exécuter certaines fonctions de manière plus efficace que les alternatives basées sur l’UC.
Anti-modèles courants :
-
En ce qui concerne votre charge de travail, vous n’avez pas comparé une instance à usage général à une instance dédiée capable de fournir de meilleures performances à moindre coût.
-
Vous utilisez des accélérateurs de calcul matériels pour les tâches qui peuvent être plus efficaces en utilisant des alternatives basées sur l’UC.
-
Vous ne surveillez pas l’utilisation du GPU.
Avantages liés au respect de cette bonne pratique : en utilisant des accélérateurs matériels, tels que des unités de traitement graphique (GPU) et des circuits logiques programmables (FPGA), vous pouvez exécuter certaines fonctions de traitement de manière plus efficace.
Niveau de risque exposé si cette bonne pratique n’est pas établie : moyen
Directives d’implémentation
Les instances de calcul accéléré donnent accès à des accélérateurs de calcul matériels tels que les GPU et les FPGA. Ces accélérateurs matériels exécutent certaines fonctions comme le traitement graphique ou la correspondance de modèles de données plus efficacement que les alternatives basées sur l’UC. De nombreuses charges de travail accélérées, telles que le rendu, le transcodage et le machine learning, sont très variables en termes d’utilisation des ressources. Exécutez ce matériel uniquement pendant le temps nécessaire et mettez-le hors service grâce à l’automatisation lorsque vous n’en avez plus besoin afin d’améliorer l’efficacité globale des performances.
Étapes d’implémentation
-
Identifiez quelles instances de calcul accéléré peuvent répondre à vos exigences.
-
Pour les charges de travail de machine learning, tirez parti d’un matériel conçu spécialement pour votre charge de travail, comme AWS Trainium
, AWS Inferentia et Amazon EC2 DL1 . Les instances Inferentia AWS telles que les instances Inf2 offrent des performances/watt jusqu’à 50 % supérieures à celles des instances Amazon EC2 comparables . -
Collectez des métriques d’utilisation pour vos instances de calcul accéléré. Par exemple, vous pouvez utiliser l’agent CloudWatch pour collecter des métriques comme
utilization_gpuetutilization_memorypour vos GPU, comme illustré dans Collecter les métriques des GPU NVIDIA avec Amazon CloudWatch. -
Optimisez le code, le fonctionnement du réseau et les paramètres des accélérateurs matériels pour veiller à ce que le matériel sous-jacent soit pleinement utilisé.
-
Utilisez les dernières bibliothèques performantes et les pilotes GPU.
-
Utilisez l’automatisation pour libérer les instances GPU lorsqu’elles ne sont pas utilisées.
Ressources
Documents connexes :
-
Instances GPU (langue française non garantie)
-
Instances avec AWS Trainium (langue française non garantie)
-
Instances avec AWS Inferentia (langue française non garantie)
-
Passons à l’architecture ! Architecture avec des puces personnalisées et des accélérateurs
(langue française non garantie)
-
Accelerated Computing
(Calcul accéléré) -
Amazon EC2 VT1 Instances
(Instances VT1 EC2) -
Comment choisir le type d’instance Amazon EC2 approprié pour ma charge de travail ?
-
Choisissez le meilleur accélérateur d’IA et la meilleure compilation de modèles pour l’inférence de vision par ordinateur avec Amazon SageMaker AI
(langue française non garantie)
Vidéos connexes :
-
AWS re:Invent 2021 - How to select Amazon Elastic Compute Cloud GPU instances for deep learning
-
AWS re:Invent 2022 - [NEW LAUNCH!] Introducing AWS Inferentia2-based Amazon EC2 Inf2 instances
-
AWS re:Invent 2022 - Accelerate deep learning and innovate faster with AWS Trainium
-
AWS re:Invent 2022 - Deep learning on AWS with NVIDIA: From training to deployment
Exemples connexes :