本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

CloudWatch 解決方案：Amazon EC2 上的 NVIDIA GPU 工作負載

此解決方案可協助您針對在 EC2 執行個體上執行的 NVIDIA GPU 工作負載，使用 CloudWatch 代理程式設定out-of-the-box指標集合。此外，它可協助您設定預先設定的 CloudWatch 儀表板。如需所有 CloudWatch 可觀測性解決方案的一般資訊，請參閱 CloudWatch 可觀測性解決方案。

要求

此解決方案與下列條件相關：

優勢

此解決方案提供 NVIDIA 監控，為下列使用案例提供寶貴的洞見：

以下是解決方案的主要優點：

下圖是此解決方案的儀表板範例。

成本

此解決方案會在您的帳戶中建立和使用 資源。您需要支付標準用量的費用，包括下列項目：

如需 CloudWatch 定價的詳細資訊，請參閱 Amazon CloudWatch 定價。

定價計算器可協助您預估使用此解決方案的每月約略成本。

此解決方案的 CloudWatch 代理程式組態

CloudWatch 代理程式是可在您的伺服器和容器化環境中持續自主執行的軟體。它會從您的基礎設施和應用程式收集指標、日誌和追蹤，並將其傳送至 CloudWatch 和 X-Ray。

如需 CloudWatch 代理程式的詳細資訊，請參閱 使用 CloudWatch 代理程式收集指標、日誌和追蹤。

此解決方案中的代理程式組態會收集一組指標，協助您開始監控和觀察 NVIDIA GPU。CloudWatch 代理程式可設定為收集比儀表板預設顯示的更多 NVIDIA GPU 指標。如需您可以收集的所有 NVIDIA GPU 指標清單，請參閱 收集 NVIDIA GPU 指標。

此解決方案的代理程式組態

代理程式收集的指標在代理程式組態中定義。解決方案提供代理程式組態，以收集適合解決方案儀表板維度的建議指標。

在具有 NVIDIA GPUs 的 EC2 執行個體上使用下列 CloudWatch 代理程式組態。組態將儲存為 SSM 參數存放區中的參數，如稍後 所述步驟 2：將建議的 CloudWatch 代理程式組態檔案存放在 Systems Manager 參數存放區。

{
    "metrics": {
        "namespace": "CWAgent",
        "append_dimensions": {
            "InstanceId": "${aws:InstanceId}"
        },
        "metrics_collected": {
            "nvidia_gpu": {
                "measurement": [
                    "utilization_gpu",
                    "temperature_gpu",
                    "power_draw",
                    "utilization_memory",
                    "fan_speed",
                    "memory_total",
                    "memory_used",
                    "memory_free",
                    "pcie_link_gen_current",
                    "pcie_link_width_current",
                    "encoder_stats_session_count",
                    "encoder_stats_average_fps",
                    "encoder_stats_average_latency",
                    "clocks_current_graphics",
                    "clocks_current_sm",
                    "clocks_current_memory",
                    "clocks_current_video"
                ],
                "metrics_collection_interval": 60
            }
        }
    },
    "force_flush_interval": 60
}

部署解決方案的代理程式

根據使用案例，安裝 CloudWatch 代理程式有數種方法。我們建議您使用此解決方案的 Systems Manager。它提供主控台體驗，並可讓您更輕鬆地管理單一 AWS 帳戶中的受管伺服器機群。本節中的指示使用 Systems Manager，當您沒有執行現有組態的 CloudWatch 代理程式時，適用於 。您可以依照中的步驟，檢查 CloudWatch 代理程式是否正在執行確認 CloudWatch 代理程式正在執行中。

如果您已在部署工作負載和管理代理程式組態的 EC2 主機上執行 CloudWatch 代理程式，您可以略過本節中的指示，並遵循現有的部署機制來更新組態。請務必將 NVIDIA GPU 的代理程式組態與您現有的代理程式組態合併，然後部署合併的組態。如果您使用 Systems Manager 來存放和管理 CloudWatch 代理程式的組態，您可以將組態合併到現有的參數值。如需詳細資訊，請參閱管理 CloudWatch 代理程式組態檔案。

部署程序包含下列步驟：

步驟 1：確保目標 EC2 執行個體具有所需的 IAM 許可

您必須授予 Systems Manager 安裝和設定 CloudWatch 代理程式的許可。您還必須授予 CloudWatch 代理程式許可，才能將遙測從 EC2 執行個體發佈至 CloudWatch。確定連接至執行個體的 IAM 角色已連接 CloudWatchAgentServerPolicy 和 AmazonSSMManagedInstanceCore IAM 政策。

步驟 2：將建議的 CloudWatch 代理程式組態檔案存放在 Systems Manager 參數存放區

參數存放區可安全地存放和管理組態參數，簡化在 EC2 執行個體上安裝 CloudWatch 代理程式，無需使用硬式編碼值。這可確保更安全且靈活的部署程序，實現集中式管理，並簡化跨多個執行個體的組態更新。

使用下列步驟，將建議的 CloudWatch 代理程式組態檔案儲存為參數存放區中的參數。

步驟 3：安裝 CloudWatch 代理程式並使用 AWS CloudFormation 範本套用組態

您可以使用 AWS CloudFormation 安裝代理程式，並將其設定為使用您在先前步驟中建立的 CloudWatch 代理程式組態。

如果您想要先編輯範本檔案以進行自訂，請選擇建立堆疊精靈下的上傳範本檔案選項，以上傳編輯的範本。如需詳細資訊，請參閱在 AWS CloudFormation 主控台上建立堆疊。

步驟 4：確認代理程式設定已正確設定

您可以依照中的步驟來驗證 CloudWatch 代理程式是否已安裝確認 CloudWatch 代理程式正在執行中。如果 CloudWatch 代理程式未安裝並執行，請確定您已正確設定所有項目。

如果一切設定正確，則您應該會看到 NVIDIA GPU 指標發佈至 CloudWatch。您可以檢查 CloudWatch 主控台，以確認它們正在發佈。

建立 NVIDIA GPU 解決方案儀表板

此解決方案提供的儀表板會透過彙總和呈現所有執行個體的指標，來呈現 NVIDIA GPUs 指標。儀表板會顯示每個指標的前 10 個貢獻者 （每個指標前 10 個小工具） 的明細。這可協助您快速識別對觀察指標有重大貢獻的極端值或執行個體。

若要建立儀表板，您可以使用下列選項：

透過使用 CloudWatch 主控台建立儀表板，您可以在實際建立和收費之前預覽儀表板。

如果您想要編輯範本檔案以針對任何用途自訂範本檔案，您可以使用建立堆疊精靈下的上傳範本檔案選項來上傳編輯的範本。如需詳細資訊，請參閱在 AWS CloudFormation 主控台上建立堆疊。您可以使用此連結來下載範本：https：//https://aws-observability-solutions-prod-us-east-1.s3.us-east-1.amazonaws.com/NVIDIA_GPU_EC2/CloudWatch/CFN/v1.0.0/dashboard-template-1.0.0.json。

NVIDIA GPU 儀表板入門

以下是您可以使用新的 NVIDIA GPU 儀表板嘗試的一些任務。這些任務可讓您驗證儀表板是否正常運作，並為您提供一些實作體驗，使用它來監控 NVIDIA GPUs。嘗試這些方法時，您將熟悉導覽儀表板和解譯視覺化指標。

檢閱 GPU 使用率

從使用率區段中，尋找 GPU 使用率和記憶體使用率小工具。這些顯示 GPU 主動用於運算的時間百分比，以及讀取或寫入的全域記憶體百分比。高使用率可能表示潛在的效能瓶頸或需要額外的 GPU 資源。

分析 GPU 記憶體用量

在記憶體區段中，尋找記憶體總數、已使用記憶體和可用記憶體小工具。這些提供 GPUs 整體記憶體容量，以及目前耗用或可用的記憶體數量的洞見。記憶體壓力可能會導致效能問題或out-of-memory錯誤，因此監控這些指標並確保有足夠的記憶體可供您的工作負載使用非常重要。

監控溫度和耗電量

在溫度/電源區段中，尋找 GPU 溫度和電源消耗小工具。這些指標對於確保您的 GPUs 在安全的熱和功率限制內運作至關重要。

識別編碼器效能

在編碼器區段中，尋找編碼器工作階段計數、平均 FPS 和平均延遲小工具。如果您是在 GPUs 上執行影片編碼工作負載，這些指標就相關。監控這些指標，以確保您的編碼器以最佳方式執行，並識別任何潛在的瓶頸或效能問題。

檢查 PCIe 連結狀態

在 PCIe 區段中，尋找 PCIe 連結產生和 PCIe 連結寬度小工具。這些指標提供有關將 GPU 連接到主機系統的 PCIe 連結的資訊。確保連結以預期的產生和寬度運作，以避免因 PCIe 瓶頸造成的潛在效能限制。

檢閱 GPU 時鐘

在時鐘區段中，尋找圖形時鐘、SM 時鐘、記憶體時鐘和視訊時鐘小工具。這些指標會顯示各種 GPU 元件目前的操作頻率。監控這些時鐘有助於識別 GPU 時鐘擴展或頻率調節的潛在問題，這可能會影響效能。