本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

CloudWatch 解決方案：Amazon EC2 上的 NVIDIA GPU 工作負載

此解決方案可協助您透過 CloudWatch 代理程式，為在 EC2 執行個體上執行的 NVIDIA GPU 工作負載設定開箱即用的指標收集功能。除此之外，還可協助您設定預先設定的 CloudWatch 儀表板。如需所有 CloudWatch 可觀測性解決方案的一般資訊，請參閱CloudWatch 可觀測性解決方案。

要求

此解決方案適用於下列情況：

優勢

此解決方案提供 NVIDIA 監控功能，針對下列使用案例提供寶貴洞察：

以下是此解決方案的主要優勢：

下圖是此解決方案之儀表板的範例。

成本

此解決方案會在您的帳戶中建立並使用資源。您需要支付標準用量的費用，包括下列項目：

如需 CloudWatch 定價的詳細資訊，請參閱 Amazon CloudWatch 定價。

定價計算器可協助您估算使用此解決方案的每月大致費用。

此解決方案的 CloudWatch 代理程式組態

CloudWatch 代理程式是在您的伺服器和容器化環境中持續自主執行的軟體。它從您的基礎結構和應用程式收集指標、日誌和追蹤，並將其傳送到 CloudWatch 和 X-Ray。

如需 CloudWatch 代理程式的詳細資訊，請參閱使用 CloudWatch 代理程式收集指標、日誌和追蹤。

此解決方案中的代理程式組態會收集一組指標，協助您開始監控和觀測 NVIDIA GPU。CloudWatch 代理程式可以設定為，收集的 NVIDIA GPU 指標數多於儀表板預設顯示的指標數。如需您可以收集之所有 NVIDIA GPU 指標的清單，請參閱收集 NVIDIA GPU 指標。

此解決方案的代理程式組態

代理程式收集的指標在代理程式組態中定義。解決方案提供代理程式組態，以收集適用於解決方案儀表板的建議指標與適當維度。

在配備 NVIDIA GPU 的 EC2 執行個體上，使用以下 CloudWatch 代理程式組態。組態將儲存為 SSM 參數儲存區中的參數，如稍後的步驟 2：將建議的 CloudWatch 代理程式設定檔儲存在 Systems Manager 參數儲存區中中所述。

{
    "metrics": {
        "namespace": "CWAgent",
        "append_dimensions": {
            "InstanceId": "${aws:InstanceId}"
        },
        "metrics_collected": {
            "nvidia_gpu": {
                "measurement": [
                    "utilization_gpu",
                    "temperature_gpu",
                    "power_draw",
                    "utilization_memory",
                    "fan_speed",
                    "memory_total",
                    "memory_used",
                    "memory_free",
                    "pcie_link_gen_current",
                    "pcie_link_width_current",
                    "encoder_stats_session_count",
                    "encoder_stats_average_fps",
                    "encoder_stats_average_latency",
                    "clocks_current_graphics",
                    "clocks_current_sm",
                    "clocks_current_memory",
                    "clocks_current_video"
                ],
                "metrics_collection_interval": 60
            }
        }
    },
    "force_flush_interval": 60
}

部署解決方案的代理程式

安裝 CloudWatch 代理程式的方法有很多種，具體取決於使用案例。建議您使用 Systems Manager 安裝此解決方案。它提供主控台體驗，並可讓您更輕鬆地管理單一 AWS 帳戶中的受管伺服器機群。本節說明採用 Systems Manager，適用於您沒有以現有組態執行 CloudWatch 代理程式的情況。您可以依循確認 CloudWatch 代理程式正在執行中中的步驟，檢查 CloudWatch 代理程式是否正在執行。

如果您已在部署工作負載和管理代理程式組態的 EC2 主機上執行 CloudWatch 代理程式，可以略過本節中的說明，並依循現有部署機制來更新組態。請務必將 NVIDIA GPU 的代理程式組態與您現有的代理程式組態合併，然後部署合併的組態。如果您使用 Systems Manager 來儲存和管理 CloudWatch 代理程式的組態，可以將組態合併到現有的參數值。如需詳細資訊，請參閱管理 CloudWatch 代理程式設定檔。

部署程序包含以下步驟：

步驟 1：確定目標 EC2 執行個體具有所需的 IAM 許可

您必須授與 Systems Manager 安裝和設定 CloudWatch 代理程式的許可。還必須授與 CloudWatch 代理程式從 EC2 執行個體發布遙測到 CloudWatch 的許可。確定連結至執行個體的 IAM 角色已連結 CloudWatchAgentServerPolicy 和 AmazonSSMManagedInstanceCore IAM 政策。

步驟 2：將建議的 CloudWatch 代理程式設定檔儲存在 Systems Manager 參數儲存區中

參數儲存區透過安全地儲存和管理組態參數，簡化在 EC2 執行個體上安裝 CloudWatch 代理程式的流程，無需使用硬式編碼值。這可確保部署程序更安全、更靈活，實現集中式管理，並能更輕鬆地更新多個執行個體的組態。

依循下列步驟，將建議的 CloudWatch 代理程式設定檔儲存為參數儲存區中的參數。

步驟 3：安裝 CloudWatch 代理程式並使用 CloudFormation 範本套用組態

您可以使用 AWS CloudFormation 安裝代理程式，並將其設定為使用您在先前步驟中建立的 CloudWatch 代理程式組態。

如果想要先編輯範本檔案以進行自訂，請選擇建立堆疊精靈下的上傳範本檔案選項，以上傳經編輯的範本。如需詳細資訊，請參閱在 CloudFormation 主控台上建立堆疊。

步驟 4：確認代理程式設定已正確設定

您可以依循確認 CloudWatch 代理程式正在執行中中的步驟，檢查 CloudWatch 代理程式是否已安裝。若 CloudWatch 代理程式未安裝且未執行，請確認您已正確完成所有設定。

若所有設定皆正確無誤，您應可看到 NVIDIA GPU 指標已發布至 CloudWatch。可以檢查 CloudWatch 主控台，以確認系統是否正在發布這些指標。

建立 NVIDIA GPU 解決方案儀表板

此解決方案提供的儀表板會透過彙總和呈現所有執行個體的指標，呈現 NVIDIA GPU 指標。儀表板會顯示每個指標的主要貢獻因子 (每個指標小工具的前 10 個因子) 明細。這可協助您快速識別對觀測指標有重大貢獻的極端值或執行個體。

若要建立儀表板，可以使用下列選項：

透過使用 CloudWatch 主控台建立儀表板，您可以在實際建立和收費之前預覽儀表板。

如果想要編輯範本檔案以針對任何用途自訂範本檔案，可以使用建立堆疊精靈下的上傳範本檔案選項來上傳經編輯的範本。如需詳細資訊，請參閱在 CloudFormation 主控台上建立堆疊。可以使用此連結下載範本：https://aws-observability-solutions-prod-us-east-1.s3.us-east-1.amazonaws.com/NVIDIA_GPU_EC2/CloudWatch/CFN/v1.0.0/dashboard-template-1.0.0.json。

開始使用 NVIDIA GPU 儀表板

以下是您可以嘗試使用新 NVIDIA GPU 儀表板處理的一些任務。這些任務可讓您驗證儀表板是否運作正常，並提供實際操作經驗，協助您運用儀表板監控 NVIDIA GPU。當您嘗試這些功能時，可逐漸熟悉儀表板的操作介面，並學會解讀視覺化的指標資料。

檢閱 GPU 使用率

在使用率區段中，尋找 GPU 使用率和記憶體使用率小工具。這些數值分別顯示 GPU 實際用於運算的時間百分比，以及全域記憶體讀取或寫入的百分比。高使用率可能表示存在潛在的效能瓶頸或需要額外的 GPU 資源。

分析 GPU 記憶體用量

在記憶體區段中，尋找記憶體總計、已使用記憶體和可用記憶體小工具。這些資訊能讓我們洞悉 GPU 的記憶體總容量，以及當下正在被消耗或仍可使用的記憶體容量。記憶體壓力可能導致效能問題或記憶體不足錯誤，因此請務必監控這些指標，並確保有足夠的記憶體可供工作負載使用。

監控溫度與功耗

在溫度/功率區段中，尋找 GPU 溫度和功耗小工具。這些指標對於確保您的 GPU 在安全的溫度與功率範圍內運作至關重要。

識別編碼器效能

在編碼器區段中，尋找編碼器工作階段計數、平均 FPS 和平均延遲小工具。如果您在 GPU 上執行視訊編碼工作負載，這些指標便有參考價值。請監控這些指標，以確保您的編碼器在以最佳方式執行，並識別任何潛在瓶頸或效能問題。

檢查 PCIe 連結狀態

在 PCIe 區段中，尋找 PCIe 連結產生和 PCIe 連結頻寬小工具。這些指標提供將 GPU 連線至主機系統的 PCIe 連結相關資訊。確保連結以預期世代與頻寬運作，以避免因 PCIe 瓶頸導致的潛在效能限制。

檢閱 GPU 時鐘

在時鐘區段中，尋找圖形時鐘、SM 時鐘、記憶體時鐘和視訊時鐘小工具。這些指標顯示各 GPU 元件目前的運作頻率。監控這些時鐘有助於識別可能影響效能的 GPU 時鐘擴展或頻率限流問題。