PERF02-BP06 Verwenden von optimierten hardwarebasierten Datenverarbeitungsbeschleunigern
Verwenden Sie Hardwarebeschleuniger, um bestimmte Funktionen effizienter auszuführen als CPU-basierte Alternativen.
Typische Anti-Muster:
-
Sie haben im Workload keine Benchmark einer universellen Instance verglichen mit einer speziell entwickelten Instance durchgeführt, die eine höhere Leistung und niedrigere Kosten bieten kann.
-
Sie verwenden hardwarebasierte Datenverarbeitungsbeschleuniger für Aufgaben, die mithilfe von CPU-basierten Alternativen effizienter sein können.
-
Sie überwachen die GPU-Nutzung nicht.
Vorteile der Nutzung dieser bewährten Methode: Durch die Verwendung hardwarebasierter Beschleuniger wie Grafikprozessoren (GPUs) und Field Programmable Gate Arrays (FPGAs) können Sie bestimmte Verarbeitungsfunktionen effizienter ausführen.
Risikostufe, wenn diese bewährte Methode nicht eingeführt wird: mittel
Implementierungsleitfaden
Beschleunigte Computing-Instances bieten Zugriff auf hardwarebasierte Datenverarbeitungsbeschleuniger wie GPUs und FPGAs. Diese Hardwarebeschleuniger führen bestimmte Funktionen wie die Grafikverarbeitung oder Datenmusterzuordnung effizienter aus als CPU-basierte Alternativen. Viele beschleunigte Workloads, wie Rendering, Transcodierung und Machine Learning, sind sehr variabel im Bezug auf die Ressourcennutzung. Betreiben Sie diese Hardware nur so lange wie nötig und nehmen Sie sie automatisch außer Betrieb, wenn sie nicht mehr benötigt wird, um die allgemeine Leistungseffizienz zu verbessern.
Implementierungsschritte
-
Ermitteln Sie, welche beschleunigten Computing-Instances für Ihre Anforderungen geeignet sind.
-
Nutzen Sie für Machine-Learning-Workloads spezielle Hardware, die auf Ihren Workload abgestimmt ist, z. B. AWS Trainium
, AWS Inferentia oder Amazon EC2 DL1 . AWS-Inferentia-Instances wie Inf2-Instances bieten eine um bis zu 50 % bessere Leistung/Watt als vergleichbare Amazon EC2-Instances . -
Erfassen Sie Nutzungsmetriken für Ihre beschleunigten Computing-Instances. Sie können z. B. den CloudWatch Agent verwenden, um Metriken wie
utilization_gpuundutilization_memoryfür Ihre GPUs zu erfassen. Dies wird im Artikel zum Erfassen von NVIDIA GPU-Metriken mit Amazon CloudWatch genauer beschrieben. -
Optimieren Sie Code, Netzwerkbetrieb und die Einstellungen von Hardwarebeschleunigern, um sicherzustellen, dass die zugrunde liegende Hardware optimal genutzt wird.
-
Verwenden Sie die aktuellen leistungsstarken Bibliotheken und GPU-Treiber.
-
Automatisieren Sie die Freigabe nicht genutzter GPU-Instances.
Ressourcen
Zugehörige Dokumente:
Zugehörige Videos:
Zugehörige Beispiele: