PERF02-BP06 Verwenden von optimierten hardwarebasierten Datenverarbeitungsbeschleunigern
Verwenden Sie Hardwarebeschleuniger, um bestimmte Funktionen effizienter auszuführen als CPU-basierte Alternativen.
Typische Anti-Muster:
-
Sie haben im Workload keine Benchmark einer universellen Instance verglichen mit einer speziell entwickelten Instance durchgeführt, die eine höhere Leistung und niedrigere Kosten bieten kann.
-
Sie verwenden hardwarebasierte Datenverarbeitungsbeschleuniger für Aufgaben, die mithilfe von CPU-basierten Alternativen effizienter sein können.
-
Sie überwachen die GPU-Nutzung nicht.
Vorteile der Nutzung dieser bewährten Methode: Durch die Verwendung hardwarebasierter Beschleuniger wie Grafikprozessoren (GPUs) und Field Programmable Gate Arrays (FPGAs) können Sie bestimmte Verarbeitungsfunktionen effizienter ausführen.
Risikostufe bei fehlender Befolgung dieser Best Practice: Mittel
Implementierungsleitfaden
Beschleunigte Computing-Instances bieten Zugriff auf hardwarebasierte Datenverarbeitungsbeschleuniger wie GPUs und FPGAs. Diese Hardwarebeschleuniger führen bestimmte Funktionen wie die Grafikverarbeitung oder Datenmusterzuordnung effizienter aus als CPU-basierte Alternativen. Viele beschleunigte Workloads, wie Rendering, Transcodierung und Machine Learning, sind sehr variabel im Bezug auf die Ressourcennutzung. Betreiben Sie diese Hardware nur so lange wie nötig und nehmen Sie sie automatisch außer Betrieb, wenn sie nicht mehr benötigt wird, um die allgemeine Leistungseffizienz zu verbessern.
Implementierungsschritte
-
Identifizieren Sie, welche beschleunigten Computing-Instances Ihren Anforderungen entsprechen.
-
Nutzen Sie für Machine-Learning-Workloads spezielle Hardware, die auf Ihren Workload abgestimmt ist, z. B. AWS Trainium
, AWS Inferentia und Amazon EC2 DL1 . AWS Inferentia-Instances wie Inf2-Instances bieten im Vergleich zu vergleichbaren Amazon EC2-Instances eine um bis zu 50 % bessere Leistung pro Watt . -
Erfassen Sie Nutzungsmetriken für Ihre beschleunigten Computing-Instances. Sie können beispielsweise den CloudWatch-Agenten verwenden, um Metriken wie
utilization_gpuundutilization_memoryfür Ihre GPUs zu erfassen, siehe auch Erfassen von NVIDIA-GPU-Metriken mit Amazon CloudWatch. -
Optimieren Sie Code, Netzwerkbetrieb und die Einstellungen von Hardwarebeschleunigern, um sicherzustellen, dass die zugrunde liegende Hardware optimal genutzt wird.
-
Verwenden Sie die aktuellen leistungsstarken Bibliotheken und GPU-Treiber.
-
Automatisieren Sie die Freigabe nicht genutzter GPU-Instances.
Ressourcen
Zugehörige Dokumente:
Zugehörige Videos:
