CloudWatch ソリューション: Amazon EC2 での NVIDIA GPU ワークロード

このソリューションは、EC2 インスタンスで実行されている NVIDIA GPU ワークロードの CloudWatch エージェントを使用して、すぐに使用できるメトリクス収集を設定するのに役立ちます。さらに、事前設定された CloudWatch ダッシュボードを設定するのに役立ちます。すべての CloudWatch オブザーバビリティソリューションの一般的な情報については、「CloudWatch オブザーバビリティソリューション」を参照してください。

要件

このソリューションは、以下の条件に適しています。

利点

このソリューションでは NVIDIA をモニタリングしているため、以下のユースケースに役立つインサイトが得られます。

ソリューションの主な利点を以下に示します。

以下の画像は、このソリューションのダッシュボードの例です。

コスト

このソリューションは、アカウントでリソースを作成して使用します。標準使用には料金がかかります。これには以下を含みます。

CloudWatch の料金の詳細については、「Amazon CloudWatch の料金」をご覧ください。

料金計算ツールを使用すると、このソリューションを使用するためのおよその月額コストを見積もることができます。

このソリューションの CloudWatch エージェント設定

CloudWatch エージェントは、サーバー上およびコンテナ化された環境で継続的かつ自律的に実行されるソフトウェアです。インフラストラクチャとアプリケーションからメトリクス、ログ、トレースを収集し、CloudWatch と X-Ray に送信します。

CloudWatch エージェントの詳細については、「CloudWatch エージェントを使用してメトリクス、ログ、トレースを収集する」を参照してください。

このソリューションのエージェント設定では、NVIDIA GPU のモニタリングと観測を開始するのに役立つ一連のメトリクスを収集します。CloudWatch エージェントは、ダッシュボードにデフォルトで表示されるよりも多くの NVIDIA GPU メトリクスを収集するように設定できます。収集できるすべての NVIDIA GPU メトリクスのリストについては、「NVIDIA GPU メトリクスを収集する」を参照してください。

このソリューションのエージェント設定

エージェントによって収集されるメトリクスは、エージェント設定で定義されます。このソリューションには、ソリューションのダッシュボードに適したディメンションで推奨メトリクスを収集するためのエージェント設定が用意されています。

NVIDIA GPU を組み込んだ EC2 インスタンスで次の CloudWatch エージェント設定を使用します。設定は、「ステップ 2: 推奨 CloudWatch エージェント設定ファイルを Systems Manager パラメータストアに保存する」で後述するように、SSM のパラメータストアにパラメータとして保存されます。

{
    "metrics": {
        "namespace": "CWAgent",
        "append_dimensions": {
            "InstanceId": "${aws:InstanceId}"
        },
        "metrics_collected": {
            "nvidia_gpu": {
                "measurement": [
                    "utilization_gpu",
                    "temperature_gpu",
                    "power_draw",
                    "utilization_memory",
                    "fan_speed",
                    "memory_total",
                    "memory_used",
                    "memory_free",
                    "pcie_link_gen_current",
                    "pcie_link_width_current",
                    "encoder_stats_session_count",
                    "encoder_stats_average_fps",
                    "encoder_stats_average_latency",
                    "clocks_current_graphics",
                    "clocks_current_sm",
                    "clocks_current_memory",
                    "clocks_current_video"
                ],
                "metrics_collection_interval": 60
            }
        }
    },
    "force_flush_interval": 60
}

ソリューションにエージェントをデプロイする

ユースケースに応じて、CloudWatch エージェントをインストールするためのいくつかのアプローチがあります。このソリューションには Systems Manager を使用することをお勧めします。これにより、コンソール操作機能が提供され、1 つの AWS アカウント内のマネージドサーバーのフリートの管理が簡単になります。このセクションの手順では Systems Manager を使用し、CloudWatch エージェントを既存の設定で実行していない場合を対象としています。CloudWatch エージェントが実行されているかどうかは、「CloudWatch エージェントが実行されていることを確認する」の手順に従って確認できます。

ワークロードがデプロイされている EC2 ホストで CloudWatch エージェントを既に実行していて、エージェント設定を管理している場合は、このセクションの手順をスキップし、既存のデプロイメカニズムに従って設定を更新できます。NVIDIA GPU のエージェント設定を既存のエージェント設定とマージしてから、マージされた設定をデプロイするようにしてください。Systems Manager を使用して CloudWatch エージェントの設定を保存および管理している場合は、設定を既存のパラメータ値にマージできます。詳細については、「CloudWatch エージェント設定ファイルの管理」を参照してください。

このデプロイプロセスには、以下のステップが含まれます。

ステップ 1: ターゲット EC2 インスタンスに必要な IAM アクセス許可があることを確認する

CloudWatch エージェントをインストールして設定するためのアクセス許可を Systems Manager に付与する必要があります。また、EC2 インスタンスから CloudWatch にテレメトリを発行するアクセス許可を CloudWatch エージェントに付与する必要もあります。インスタンスにアタッチされた IAM ロールに CloudWatchAgentServerPolicy と AmazonSSMManagedInstanceCore の IAM ポリシーがアタッチされていることを確認します。

ステップ 2: 推奨 CloudWatch エージェント設定ファイルを Systems Manager パラメータストアに保存する

パラメータストアでは、設定パラメータを安全に保存および管理することで EC2 インスタンスへの CloudWatch エージェントのインストールが簡素化され、ハードコーディングされた値が不要になります。これにより、デプロイプロセスがより安全で柔軟になり、集中管理が可能になり、複数のインスタンスで設定を簡単に更新できるようになります。

以下の手順を使用して、パラメータストアに推奨 CloudWatch エージェント設定ファイルをパラメータとして保存します。

ステップ 3: CloudWatch エージェントをインストールし、AWS CloudFormation テンプレートを使用して設定を適用する

AWS CloudFormation を使用してエージェントをインストールし、これまでの手順で作成した CloudWatch エージェント設定を使用するように設定できます。

まずテンプレートファイルを編集してカスタマイズする場合は、[スタックの作成ウィザード] の [テンプレートファイルのアップロード] オプションを選択して、編集したテンプレートをアップロードします。詳細については、「AWS CloudFormation コンソールからスタックを作成する」を参照してください。

ステップ 4: エージェントのセットアップが正しく設定されていることを確認する

CloudWatch エージェントがインストールされているかどうかは、「CloudWatch エージェントが実行されていることを確認する」の手順に従って確認できます。CloudWatch エージェントがインストールされておらず、実行されていない場合は、すべてが正しく設定されていることを確認してください。

すべてが正しく設定されている場合は、NVIDIA GPU メトリクスが CloudWatch に公開されているはずです。CloudWatch コンソールをチェックして、公開されていることを確認します。

NVIDIA GPU ソリューションダッシュボードを作成する

このソリューションが提供するダッシュボードは、すべてのインスタンスでメトリクスを集約して表示することで、NVIDIA GPU メトリクスを表示します。ダッシュボードには、各メトリクスに寄与する上位の要因 (メトリクスウィジェットあたり上位 10 件) の内訳が表示されます。これにより、観測されたメトリクスに大きく寄与する外れ値やインスタンスをすばやく特定できます。

ダッシュボードを作成するには、以下のオプションを使用できます。

CloudWatch コンソールを使用してダッシュボードを作成すると、実際に作成して課金される前にダッシュボードをプレビューできます。

何らかの目的でテンプレートファイルを編集してカスタマイズする場合は、[スタックの作成ウィザード] の [テンプレートファイルのアップロード] オプションを使用して、編集したテンプレートをアップロードできます。詳細については、「AWS CloudFormation コンソールからスタックを作成する」を参照してください。次のリンクを使用して、テンプレートをダウンロードできます: https://aws-observability-solutions-prod-us-east-1.s3.us-east-1.amazonaws.com/NVIDIA_GPU_EC2/CloudWatch/CFN/v1.0.0/dashboard-template-1.0.0.json。

NVIDIA GPU ダッシュボードの使用を開始する

新しい NVIDIA GPU ダッシュボードで試すことができるタスクをいくつか示します。これらのタスクにより、ダッシュボードが正しく機能していることの検証が可能になり、NVIDIA GPU をモニタリングするためにダッシュボードを実際に使用する経験ができます。これらを試すと、ダッシュボードの操作に慣れ、可視化されたメトリクスを解釈できるようになっていきます。

GPU 使用率を確認する

[使用率] セクションから、[GPU 使用率] ウィジェットと [メモリ使用率] ウィジェットを見つけます。これらはそれぞれ、GPU が計算にアクティブに使用されている時間の割合と、読み書きされるグローバルメモリの割合を示しています。使用率が高い場合、潜在的なパフォーマンスのボトルネックや追加の GPU リソースの必要性を示している可能性があります。

GPU メモリ使用率を分析する

[メモリ] セクションで、[合計メモリ]、[使用済みメモリ]、および [空きメモリ] の各ウィジェットを見つけます。これらによって、GPU の全体的なメモリ容量と、現在消費されているメモリまたは利用可能なメモリの量に関するインサイトが得られます。メモリのプレッシャーにより、パフォーマンスの問題やメモリ不足のエラーが発生する可能性があるため、これらのメトリクスをモニタリングし、ワークロードに十分なメモリが使用可能であることを確認することが重要です。

温度と消費電力をモニタリングする

[温度/電力] セクションで、[GPU 温度] ウィジェットと [消費電力] ウィジェットを見つけます。これらのメトリクスは、GPU が安全な熱と電力の範囲内で動作することを確実にするために不可欠です。

エンコーダーのパフォーマンスを特定する

[エンコーダー] セクションで、[エンコーダーセッション数]、[平均 FPS]、および [平均レイテンシー] の各ウィジェットを見つけます。GPU でビデオエンコーディングワークロードを実行している場合にこれらのメトリクスが関連します。これらのメトリクスをモニタリングして、エンコーダーが最適に実行されていることを確認するとともに、潜在的なボトルネックやパフォーマンスの問題を特定します。

PCIe リンクステータスを確認する

[PCIe] セクションで、[PCIe リンク世代] ウィジェットと [PCIe リンク幅] ウィジェットを見つけます。これらのメトリクスは、GPU をホストシステムに接続する PCIe リンクに関する情報を提供します。PCIe のボトルネックによってパフォーマンスが制限される可能性を避けるため、リンクが期待される世代と幅で動作していることを確認します。

GPU クロックを確認する

[クロック] セクションで、[グラフィックスクロック]、[SM クロック]、[メモリクロック]、および [ビデオクロック] の各ウィジェットを見つけます。これらのメトリクスは、さまざまな GPU コンポーネントの現在の動作周波数を示しています。これらのクロックのモニタリングは、パフォーマンスに影響を与える可能性がある GPU クロックのスケーリングや周波数スロットリングの潜在的な問題を特定するのに役立ちます。