# PERF02-BP06 Verwenden von optimierten hardwarebasierten Datenverarbeitungsbeschleunigern
Verwenden Sie Hardwarebeschleuniger, um bestimmte Funktionen effizienter auszuführen als CPU-basierte Alternativen.
**Typische Anti-Muster:**
+ Sie haben im Workload keine Benchmark einer universellen Instance verglichen mit einer speziell entwickelten Instance durchgeführt, die eine höhere Leistung und niedrigere Kosten bieten kann.
+ Sie verwenden hardwarebasierte Datenverarbeitungsbeschleuniger für Aufgaben, die mithilfe von CPU-basierten Alternativen effizienter sein können.
+ Sie überwachen die GPU-Nutzung nicht.
**Vorteile der Nutzung dieser bewährten Methode:** Durch die Verwendung hardwarebasierter Beschleuniger wie Grafikprozessoren (GPUs) und Field Programmable Gate Arrays (FPGAs) können Sie bestimmte Verarbeitungsfunktionen effizienter ausführen.
**Risikostufe, wenn diese bewährte Methode nicht eingeführt wird:** mittel
## Implementierungsleitfaden
Beschleunigte Computing-Instances bieten Zugriff auf hardwarebasierte Datenverarbeitungsbeschleuniger wie GPUs und FPGAs. Diese Hardwarebeschleuniger führen bestimmte Funktionen wie die Grafikverarbeitung oder Datenmusterzuordnung effizienter aus als CPU-basierte Alternativen. Viele beschleunigte Workloads, wie Rendering, Transcodierung und Machine Learning, sind sehr variabel im Bezug auf die Ressourcennutzung. Betreiben Sie diese Hardware nur so lange wie nötig und nehmen Sie sie automatisch außer Betrieb, wenn sie nicht mehr benötigt wird, um die allgemeine Leistungseffizienz zu verbessern.
### Implementierungsschritte
+ Ermitteln Sie, welche [beschleunigten Computing-Instances](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/accelerated-computing-instances.html) für Ihre Anforderungen geeignet sind.
+ Nutzen Sie für Machine-Learning-Workloads spezielle Hardware, die auf Ihren Workload abgestimmt ist, z. B. [AWS Trainium](https://aws.amazon.com/machine-learning/trainium/), [AWS Inferentia](https://aws.amazon.com/machine-learning/inferentia/) oder [Amazon EC2 DL1](https://aws.amazon.com/ec2/instance-types/dl1/). AWS-Inferentia-Instances wie Inf2-Instances [bieten eine um bis zu 50 % bessere Leistung/Watt als vergleichbare Amazon EC2-Instances](https://aws.amazon.com/machine-learning/inferentia/).
+ Erfassen Sie Nutzungsmetriken für Ihre beschleunigten Computing-Instances. Sie können z. B. den CloudWatch Agent verwenden, um Metriken wie `utilization_gpu` und `utilization_memory` für Ihre GPUs zu erfassen. Dies wird im [Artikel zum Erfassen von NVIDIA GPU-Metriken mit Amazon CloudWatch](https://docs.aws.amazon.com/Amazon/latest/monitoring/-Agent-NVIDIA-GPU.html) genauer beschrieben.
+ Optimieren Sie Code, Netzwerkbetrieb und die Einstellungen von Hardwarebeschleunigern, um sicherzustellen, dass die zugrunde liegende Hardware optimal genutzt wird.
+ [Optimieren der GPU-Einstellungen](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/optimize_gpu.html)
+ [GPU-Überwachung und -Optimierung](https://docs.aws.amazon.com/dlami/latest/devguide/tutorial-gpu.html)
+ [Optimieren von E/A für die GPU-Leistungsoptimierung von Deep Learning-Training in Amazon SageMaker AI](https://aws.amazon.com/blogs/machine-learning/optimizing-i-o-for-gpu-performance-tuning-of-deep-learning-training-in-amazon-sagemaker/)
+ Verwenden Sie die aktuellen leistungsstarken Bibliotheken und GPU-Treiber.
+ Automatisieren Sie die Freigabe nicht genutzter GPU-Instances.
## Ressourcen
**Zugehörige Dokumente:**
+ [Arbeiten mit GPUs in Amazon Elastic Container Service](https://docs.aws.amazon.com/AmazonECS/latest/developerguide/ecs-gpu.html)
+ [GPU-Instances](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/accelerated-computing-instances.html#gpu-instances)
+ [Instances mit AWS Trainium](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/accelerated-computing-instances.html#aws-trainium-instances)
+ [Instances mit AWS Inferentia](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/accelerated-computing-instances.html#aws-inferentia-instances)
+ [Let’s Architect\! Erstellen von Architekturen mit benutzerdefinierten Chips und Beschleunigern](https://aws.amazon.com/blogs/architecture/lets-architect-custom-chips-and-accelerators/)
+ [Accelerated Computing](https://aws.amazon.com/ec2/instance-types/#Accelerated_Computing)
+ [Amazon EC2 VT1-Instances](https://aws.amazon.com/ec2/instance-types/vt1/)
+ [Wie wähle ich einen geeigneten Amazon EC2 Instance-Typ für meinen Workload aus?](https://aws.amazon.com/premiumsupport/knowledge-center/ec2-instance-choose-type-for-workload/)
+ [Auswählen des besten KI-Beschleunigers und der Modellkompilierung für Computer Vision Inference mit Amazon SageMaker AI](https://aws.amazon.com/blogs/machine-learning/choose-the-best-ai-accelerator-and-model-compilation-for-computer-vision-inference-with-amazon-sagemaker/)
**Zugehörige Videos:**
+ AWS re:Invent 2021 – [Auswählen von Amazon Elastic Compute Cloud-GPU-Instances für Deep Learning](https://www.youtube.com/watch?v=4bVrIbgGWEA&ab_channel=AWSEvents)
+ [AWS re:Invent 2022 – [NEUER LAUNCH] Einführung von AWS-Inferentia2-basierten Amazon EC2-Inf2-Instances](https://www.youtube.com/watch?v=jpqiG02Y2H4&ab_channel=AWSEvents)
+ [AWS re:Invent 2022 – Beschleunigung von Deep Learning und schnellere Innovationen mit AWS Trainium](https://www.youtube.com/watch?v=YRqvfNwqUIA&ab_channel=AWSEvents)
+ [AWS re:Invent 2022 – Deep Learning in AWS mit NVIDIA: Vom Training bis zur Bereitstellung](https://www.youtube.com/watch?v=l8AFfaCkp0E&ab_channel=AWSEvents)
**Zugehörige Beispiele:**
+ [Amazon SageMaker AI und NVIDIA GPU Cloud (NGC)](https://github.com/aws-samples/amazon-sagemaker-nvidia-ngc-examples)
+ [Verwendung von SageMaker AI mit Trainium und Inferentia für optimierte Deep-Learning-Trainings- und Inferenz-Workloads](https://github.com/aws-samples/sagemaker-trainium-inferentia)
+ [Optimierung von NLP-Modellen mit Amazon Elastic Compute Cloud-Inf1-Instances in Amazon SageMaker AI](https://github.com/aws-samples/aws-inferentia-huggingface-workshop)