翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
OpenTelemetry メトリクスリファレンス
このセクションでは、Amazon SageMaker AI によって出力され、SageMaker AI Insights で使用できる OpenTelemetry メトリクスの包括的なリスト (非網羅) を提供します。
OpenTelemetry メトリクスラベル
OpenTelemetry メトリクスには、各データポイントに関連付けられたリソースを識別するラベル (属性) が含まれます。これらのラベルを使用して、クエリでメトリクスをフィルタリングおよびグループ化します。
| OpenTelemetry ラベル | 説明 |
|---|---|
aws.sagemaker.endpoint.name |
エンドポイント名 |
aws.sagemaker.variant.name |
本番稼働用バリアント名 |
aws.sagemaker.inference_component.name |
推論コンポーネント名 |
@resource.host.id |
EC2のインスタンス ID |
aws.sagemaker.container.id |
コンテナ ID |
@resource.cloud.availability_zone |
アベイラビリティーゾーン |
@resource.host.type |
インスタンスタイプ |
アカウントレベルの集計メトリクス
これらのメトリクスはアカウントレベルにあります。
| # | メトリクス | 説明 |
|---|---|---|
| 1 | TotalEndpoints |
アカウント内のアクティブなエンドポイントの合計数 |
| 2 | TotalICs |
すべてのエンドポイントにデプロイされた推論コンポーネントの総数 |
| 3 | TotalInvocations |
すべてのエンドポイントにわたる推論リクエストの合計数 |
GPU (DCGM) メトリクス
これらのメトリクスは Data Center GPU Manager (DCGM) エクスポーターから収集され、推論フレームワークに関係なく、すべての GPU エンドポイントで使用できます。
推論コンポーネント、インスタンス、またはエンドポイントレベルで集計できます。
| # | メトリクス | ソースメトリクス (複数可) | 説明 |
|---|---|---|---|
| 4 | GPU 使用率 (%) | DCGM_FI_DEV_GPU_UTIL |
GPU がワークロードをアクティブに実行していた時間の割合 |
| 5 | GPU メモリ使用率 (%) | DCGM_FI_DEV_MEM_COPY_UTIL |
メモリコントローラーが GPU メモリとの間でデータをアクティブに移動していた時間の割合 |
ノード (インスタンス) メトリクス
これらのメトリクスはノードエクスポーターから収集され、CPU、メモリ、ディスク使用率をインスタンスレベルで可視化します。
インスタンスまたはエンドポイントレベルで集計できます。
| # | メトリクス | ソースメトリクス (複数可) | 説明 |
|---|---|---|---|
| 6 | CPU 使用率 (%) | node_cpu_seconds_total |
起動後に各実行モード (アイドル、ユーザー、システム、iowait) で費やされた合計 CPU 秒数を測定する累積カウンター。アイドルモードレートから使用率を取得します。 |
| 7 | メモリ使用率 (%) | node_memory_MemAvailable_bytes,
node_memory_MemTotal_bytes |
使用中の物理メモリの割合。合計メモリから使用可能なメモリを引いたもの。 |
| 8 | ディスク使用率 (%) | node_filesystem_avail_bytes,
node_filesystem_size_bytes |
使用中のファイルシステム領域の割合。合計サイズから使用可能なスペースを引いた値から算出されます。 |
推論フレームワークメトリクス (vLLM/SGLang)
推論フレームワークメトリクスは、モデルコンテナ内で実行されているサービングエンジンによってネイティブに出力されます。SageMaker AI は、詳細なオブザーバビリティが有効になっている場合、サポートされているフレームワーク (vLLM と SGLang) からこれらのメトリクスを自動的に収集します。これらのメトリクスは、トークンスループット、レイテンシー、KV キャッシュプレッシャー、および推論コンポーネントレベルでのリクエストキューイングを可視化します。
これらのメトリクスは、エンドポイント、推論コンポーネント、またはインスタンスレベルで属性付けできます。
| # | メトリクス | ソースメトリクス (複数可) | 説明 |
|---|---|---|---|
| 9 | 1 秒あたりの入力トークン数 | vllm:prompt_tokens_total |
1 秒あたりに処理されたプロンプトトークンの合計数 |
| 10 | 1 秒あたりの出力トークン数 | vllm:generation_tokens_total |
1 秒あたりに生成されたトークンの合計数 |
| 11 | 合計 TPS | #9 + #10 から派生 | 1 秒あたりの入力トークンと出力トークンの合計 |
| 12 | TPS 使用率 | #11 から派生 | 観測されたピークに対する現在のトークンスループットの割合 |
| 13 | TTFT | vllm:time_to_first_token_seconds |
リクエストの到着から最初に生成されたトークンまでの時間 (ヒストグラム) |
| 14 | トークン間のレイテンシー | vllm:inter_token_latency_seconds |
連続して生成されたトークン間の平均時間 (ヒストグラム) |
| 15 | KV キャッシュ使用率 | vllm:gpu_cache_usage_perc |
現在使用されている GPU KV キャッシュメモリの割合 |
| 16 | キューの深さ | vllm:num_requests_waiting |
キューで処理を待っているリクエストの数 |
| 17 | バッチサイズ | vllm:num_requests_running |
現在実行中のリクエストの数 (進行中) |
| 18 | モデルのレイテンシー | vllm:e2e_request_latency_seconds |
到着から最終トークンまでのEnd-to-endのリクエストレイテンシー (ヒストグラム) |
注記
プレフィックスが のメトリクスvllm:は、SGLang エンドポイントとsglang:同等です。
オペレーション主導のメトリクス
これらのメトリクスはイベント駆動型であり、Create、Update、または Scale オペレーションによってエンドポイントまたは推論コンポーネントに出力されます。これらは の影響を受けませんMetricPublishFrequencyInSeconds。
これらのメトリクスは、エンドポイントおよび推論コンポーネントレベルで属性付けできます。
| # | メトリクス | ソースメトリクス (複数可) | 説明 |
|---|---|---|---|
| 19 | スケーリングイベント | e2e_duration |
エンドポイントで自動スケーリングまたは手動スケーリングアクションが発生したことを示します。ラベル aws.sagemaker.scaling.direction (ScaleOut または ScaleIn) でフィルタリングして方向を特定します。 |
| 20 | E2E スケーリングレイテンシー | e2e_duration |
トリガーから完了までのEnd-to-endのスケーリング時間 (秒）。ラベル ( aws.sagemaker.operation.type などUpdateWCEndpoint) でフィルタリングします。 |
| 21 | ICE の数 | ice_count |
インスタンスタイプあたりの AZ あたりの容量不足エラーイベントの数 |
| 22 | イベントタイプの再調整 | rebalancing_blocked |
再調整イベントのタイプとその現在の状態 |
| 23 | 期間の再調整 | rebalancing_duration |
開始から完了までの再調整時間 (秒) |
| 24 | 移動された IC コピー | ic_copy_moved |
再調整中に移動された推論コンポーネントコピーの数 |
| 25 | 解放されたインスタンス | instances_released |
再調整中に統合によって解放された EC2 インスタンスの数 |
| 26 | モデルのダウンロード期間 | model_download_time |
S3 からインスタンスにモデルアーティファクトをダウンロードする時間 (秒) |
| 27 | GPU ロード期間 | gpu_load_time |
GPU メモリにモデルの重みをロードする時間 (秒) |
| 28 | コンテナの開始期間 | container_start_time |
コンテナの開始からヘルスチェックに合格するまでの時間 (秒) |
派生フリート配置メトリクス
上記のメトリクスに加えて、SageMaker AI Insights ダッシュボードはコントロールプレーン配置データから派生したメトリクスを計算します。これらはダッシュボードに表示される集計ビューであり、Amazon CloudWatch Query Studio で個別にクエリできるメトリクス名ではありません。
派生フリート配置メトリクスには以下が含まれます。
-
アベイラビリティーゾーンあたりのインスタンス数
-
アベイラビリティーゾーンあたりの IC コピー数
-
AZ スキュー (フリート全体の分散不均衡の割合)
-
インスタンスあたりの IC コピー数
これらの値は、SageMaker AI Insights ダッシュボードの信頼性タブに表示されます。
