Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

CloudWatch Lösung: NVIDIA-GPU-Workload bei Amazon EC2

Diese Lösung hilft Ihnen bei der Konfiguration der out-of-the-box Metrikerfassung mithilfe von CloudWatch Agenten für NVIDIA-GPU-Workloads, die auf EC2 Instanzen ausgeführt werden. Darüber hinaus hilft sie Ihnen bei der Einrichtung eines vorkonfigurierten Dashboards CloudWatch . Allgemeine Informationen zu allen CloudWatch Observability-Lösungen finden Sie unter. CloudWatch Observability-Lösungen

Voraussetzungen

Diese Lösung ist für folgende Bedingungen relevant:

Vorteile

Die Lösung bietet NVIDIA-Überwachung und wertvolle Erkenntnisse für die folgenden Anwendungsfälle:

Im Folgenden sind die Hauptvorteile der Lösung aufgeführt:

Die nachfolgende Abbildung ist ein Beispiel eines Dashboards dieser Lösung.

Kosten

Diese Lösung erstellt und nutzt Ressourcen in Ihrem Konto. Ihnen wird die Standardnutzung berechnet, einschließlich der folgenden Kosten:

Weitere Informationen zur CloudWatch Preisgestaltung finden Sie unter CloudWatch Amazon-Preise.

Mithilfe des Preisrechners können Sie die ungefähren monatlichen Kosten für die Nutzung dieser Lösung abschätzen.

CloudWatch Agentenkonfiguration für diese Lösung

Der CloudWatch Agent ist eine Software, die kontinuierlich und autonom auf Ihren Servern und in containerisierten Umgebungen ausgeführt wird. Es sammelt Metriken, Logs und Traces aus Ihrer Infrastruktur und Ihren Anwendungen und sendet sie an CloudWatch X-Ray.

Weitere Informationen über den CloudWatch Agenten finden Sie unterErfassen Sie mithilfe des CloudWatch Agenten Metriken, Protokolle und Traces.

Die Agentenkonfiguration in dieser Lösung erfasst verschiedene Metriken, die Ihnen den Einstieg in die Überwachung und Beobachtung Ihrer NVIDIA-GPU erleichtern. Der CloudWatch Agent kann so konfiguriert werden, dass er standardmäßig mehr NVIDIA-GPU-Metriken sammelt, als das Dashboard anzeigt. Eine Liste aller NVIDIA-GPU-Metriken, die Sie erfassen können, finden Sie unter Erfassen von NVIDIA GPU-Metriken.

Agentenkonfiguration für diese Lösung

Die vom Agenten zu erfassenden Metriken werden in der Agentenkonfiguration definiert. Die Lösung bietet Agenten-Konfigurationen zum Erfassen der empfohlenen Metriken mit geeigneten Dimensionen für das Dashboard der Lösung.

Verwenden Sie die folgende CloudWatch Agentenkonfiguration für EC2 Instanzen mit NVIDIA GPUs. Die Konfiguration wird als Parameter im Parameterspeicher von SSM gespeichert, wie weiter unten in beschrieben Schritt 2: Speichern Sie die empfohlene CloudWatch Agentenkonfigurationsdatei im Systems Manager Parameter Store.

{
    "metrics": {
        "namespace": "CWAgent",
        "append_dimensions": {
            "InstanceId": "${aws:InstanceId}"
        },
        "metrics_collected": {
            "nvidia_gpu": {
                "measurement": [
                    "utilization_gpu",
                    "temperature_gpu",
                    "power_draw",
                    "utilization_memory",
                    "fan_speed",
                    "memory_total",
                    "memory_used",
                    "memory_free",
                    "pcie_link_gen_current",
                    "pcie_link_width_current",
                    "encoder_stats_session_count",
                    "encoder_stats_average_fps",
                    "encoder_stats_average_latency",
                    "clocks_current_graphics",
                    "clocks_current_sm",
                    "clocks_current_memory",
                    "clocks_current_video"
                ],
                "metrics_collection_interval": 60
            }
        }
    },
    "force_flush_interval": 60
}

Bereitstellung des Agenten für Ihre Lösung

Je nach Anwendungsfall gibt es mehrere Ansätze für die Installation des CloudWatch Agenten. Wir empfehlen die Nutzung von Systems Manager für diese Lösung. Es bietet eine Konsolenerfahrung und erleichtert die Verwaltung einer Flotte verwalteter Server innerhalb eines einzigen AWS Kontos. Die Anweisungen in diesem Abschnitt verwenden Systems Manager und sind für den Fall vorgesehen, dass der CloudWatch Agent nicht mit vorhandenen Konfigurationen ausgeführt wird. Sie können überprüfen, ob der CloudWatch Agent ausgeführt wird, indem Sie die Schritte unter befolgenStellen Sie sicher, dass der CloudWatch Agent läuft.

Wenn Sie den CloudWatch Agenten bereits auf den EC2 Hosts ausführen, auf denen der Workload bereitgestellt wird, und die Agentenkonfigurationen verwalten, können Sie die Anweisungen in diesem Abschnitt überspringen und Ihren vorhandenen Bereitstellungsmechanismus verwenden, um die Konfiguration zu aktualisieren. Stellen Sie sicher, dass Sie die Agentenkonfiguration von NVDIA-GPU mit Ihrer vorhandenen Agentenkonfiguration zusammenführen und dann diese zusammengeführte Konfiguration bereitstellen. Wenn Sie Systems Manager verwenden, um die Konfiguration für den CloudWatch Agenten zu speichern und zu verwalten, können Sie die Konfiguration mit dem vorhandenen Parameterwert zusammenführen. Weitere Informationen finden Sie unter CloudWatch Agent-Konfigurationsdateien verwalten.

Der Bereitstellungsprozess umfasst die folgenden Schritte:

Schritt 1: Stellen Sie sicher, dass die EC2 Zielinstanzen über die erforderlichen IAM-Berechtigungen verfügen

Sie müssen Systems Manager die Erlaubnis erteilen, den CloudWatch Agenten zu installieren und zu konfigurieren. Sie müssen dem CloudWatch Agenten auch die Erlaubnis erteilen, Telemetriedaten von Ihrer EC2 Instanz an zu CloudWatch veröffentlichen. Stellen Sie sicher, dass der IAM-Rolle, die der Instance zugewiesen ist, die Amazon IAM-Richtlinien CloudWatchAgentServerPolicyund die Amazon SSMManaged InstanceCore IAM-Richtlinien angehängt sind.

Schritt 2: Speichern Sie die empfohlene CloudWatch Agentenkonfigurationsdatei im Systems Manager Parameter Store

Parameter Store vereinfacht die Installation des CloudWatch Agenten auf einer EC2 Instanz, indem Konfigurationsparameter sicher gespeichert und verwaltet werden, sodass keine hartcodierten Werte erforderlich sind. Das gestaltet den Bereitstellungsprozess sicherer und flexibler und ermöglicht eine zentrale Verwaltung und einfachere Aktualisierungen von Konfigurationen über mehrere Instances hinweg.

Gehen Sie wie folgt vor, um die empfohlene CloudWatch Agent-Konfigurationsdatei als Parameter im Parameter Store zu speichern.

Schritt 3: Installieren Sie den CloudWatch Agenten und wenden Sie die Konfiguration mithilfe einer CloudFormation Vorlage an

Sie können AWS CloudFormation damit den Agenten installieren und ihn so konfigurieren, dass er die CloudWatch Agentenkonfiguration verwendet, die Sie in den vorherigen Schritten erstellt haben.

Wenn Sie die Vorlagendatei zuerst bearbeiten möchten, um sie anzupassen, wählen Sie im Assistenten zum Erstellen von Stacks die Option Eine Vorlagendatei hochladen aus, um die bearbeitete Vorlage hochzuladen. Weitere Informationen finden Sie unter Einen Stack auf der CloudFormation Konsole erstellen.

Schritt 4: Stellen Sie sicher, dass das Agenten-Setup richtig konfiguriert ist

Sie können überprüfen, ob der CloudWatch Agent installiert ist, indem Sie die Schritte unter befolgenStellen Sie sicher, dass der CloudWatch Agent läuft. Wenn der CloudWatch Agent nicht installiert ist und nicht ausgeführt wird, stellen Sie sicher, dass Sie alles richtig eingerichtet haben.

Wenn alles korrekt eingerichtet ist, sollten Sie sehen, dass die NVIDIA-GPU-Metriken veröffentlicht werden CloudWatch. Sie können in der CloudWatch Konsole nachsehen, ob sie veröffentlicht wurden.

Erstellen des Dashboards für die NVIDIA-GPU-Lösung

Das von dieser Lösung bereitgestellte Dashboard präsentiert GPUs NVIDIA-Metriken, indem es Metriken für alle Instanzen aggregiert und präsentiert. Das Dashboard zeigt eine Aufschlüsselung der wichtigsten Faktoren (Top-10-pro-Metrik-Widget) für jede Metrik. Auf diese Weise identifizieren Sie schnell Ausreißer oder Fälle, die erheblich zu den beobachteten Metriken beitragen.

Um das Dashboard zu erstellen, können Sie die folgenden Optionen nutzen.

Wenn Sie die CloudWatch Konsole zum Erstellen eines Dashboards verwenden, können Sie eine Vorschau des Dashboards anzeigen, bevor Sie es erstellen und bezahlen.

Wenn Sie die Vorlagendatei bearbeiten möchten, um sie für beliebige Zwecke anzupassen, können Sie im Assistenten zum Erstellen von Stacks die Option Eine Vorlagendatei hochladen auswählen, um die bearbeitete Vorlage hochzuladen. Weitere Informationen finden Sie unter Erstellen eines Stacks in der CloudFormation -Konsole. Sie können diesen Link verwenden, um die Vorlage herunterzuladen: https://aws-observability-solutions-prod-us-east-1.s3.us-east-1.amazonaws.com/NVIDIA_GPU_EC2/ CloudWatch/CFN/v1.0.0/dashboard -template-1.0.0.json.

Erste Schritte mit dem NVIDIA-GPU-Dashboard

Hier finden Sie ein paar Aufgaben, die Sie mit dem neuen NVIDIA-GPU-Dashboard ausprobieren können. Mit diesen Aufgaben können Sie überprüfen, ob das Dashboard ordnungsgemäß funktioniert, und Sie erhalten praktische Erfahrungen mit der Verwendung des Dashboards zur Überwachung Ihres NVIDIA-Geräts. GPUs Wenn Sie diese Optionen ausprobieren, werden Sie sich mit der Navigation im Dashboard und der Interpretation der visualisierten Metriken vertraut machen.

Überprüfen der GPU-Auslastung

Suchen Sie im Abschnitt Auslastung nach den Widgets GPU-Auslastung und Speicherauslastung. Diese zeigen den Prozentsatz der Zeit, in der die GPU aktiv für Berechnungen verwendet wird, und den Prozentsatz des globalen Speichers, der gelesen bzw. geschrieben wird. Eine hohe Auslastung könnte auf potenzielle Leistungsengpässe oder den Bedarf an zusätzlichen GPU-Ressourcen hindeuten.

Analysieren der GPU-Speicherauslastung

Suchen Sie im Bereich Speicher nach den Widgets Gesamtspeicher, Verwendeter Speicher und Freier Speicher. Diese geben Aufschluss über die Gesamtspeicherkapazität von GPUs und darüber, wie viel Speicher derzeit verbraucht oder verfügbar ist. Speicherauslastung kann zu Leistungsproblemen oder out-of-memory Fehlern führen. Daher ist es wichtig, diese Messwerte zu überwachen und sicherzustellen, dass ausreichend Arbeitsspeicher für Ihre Workloads verfügbar ist.

Überwachen von Temperatur und Stromaufnahme

Suchen Sie im Bereich Temperatur/Leistung nach den Widgets GPU-Temperatur und Stromaufnahme. Diese Messwerte sind wichtig, um sicherzustellen, dass Sie GPUs innerhalb sicherer Wärme- und Leistungsgrenzen arbeiten.

Identifizieren der Encoder-Leistung

Suchen Sie im Bereich Encoder nach den Widgets Anzahl der Encoder-Sitzungen, Durchschnittliche FPS und Durchschnittliche Latenz. Diese Metriken sind relevant, wenn Sie Videokodierungs-Workloads auf Ihrem GPUs ausführen. Überwachen Sie diese Messwerte, um dafür zu sorgen, dass Ihre Encoder optimal funktionieren, und um potenzielle Engpässe oder Leistungsprobleme zu identifizieren.

Überprüfen Sie den PCIe Linkstatus

Suchen Sie in PCIediesem Abschnitt nach den Widgets PCIe Linkgenerierung und PCIe Linkbreite. Diese Metriken liefern Informationen über den PCIe Link, der die GPU mit dem Hostsystem verbindet. Stellen Sie sicher, dass der Link mit der erwarteten Generation und Breite betrieben wird, um mögliche Leistungseinschränkungen aufgrund von PCIe Engpässen zu vermeiden.

Überprüfen der GPU-Taktfrequenzen

Suchen Sie im Bereich Taktfrequenz nach den Widgets Grafiktakt, SM-Takt, Speichertakt und Videotakt. Diese Metriken zeigen die aktuellen Betriebsfrequenzen verschiedener GPU-Komponenten. Durch die Überwachung dieser Taktfrequenzen können potenzielle Probleme mit der GPU-Taktskalierung oder Frequenzdrosselung erkannt werden, die sich auf die Leistung auswirken könnten.