翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
CloudWatch bedrock-runtime メトリクスを使用して推論をモニタリングする
Amazon Bedrock bedrock-runtime.エンドポイントは、 region.amazonaws.com.rproxy.govskope.caAWS/Bedrock名前空間で Amazon CloudWatch にメトリクスを発行します。これらのメトリクスを使用して、呼び出しボリューム、レイテンシー、トークン消費、エラー率、モデル呼び出しログ配信をモニタリングします。
アプリケーションが を介して推論を呼び出す場合はbedrock-mantle.、CloudWatch メトリクスを使用してbedrock-mantle推論をモニタリングする代わりに「」を参照してください。region.api.aws
Amazon Bedrock ランタイムメトリクス
次の表は、Amazon Bedrock が提供するランタイムメトリックスについて説明しています。
| メトリクス名 | Unit | 説明 |
|---|---|---|
| 呼び出し | サンプル数 | Converse API オペレーション、ConverseStream API オペレーション、InvokeModel API オペレーション、InvokeModelWithResponseStream API オペレーションへの成功したリクエスト数。 |
|
InvocationLatency |
ミリ秒 |
リクエストが送信された時点から最後のトークンが受信されるまでの時間。 サービス側のスループットの変化によるレイテンシーの増加と、長いモデルレスポンスによる増加を区別するには、「」を参照してください1 秒あたりの出力トークン (OTPS) を使用してInvocationLatency増加を診断する。 |
|
InvocationClientErrors |
サンプル数 |
クライアント側でエラーが発生した呼び出しの数。 |
|
InvocationServerErrors |
サンプル数 |
AWS サーバー側のエラーが発生する呼び出しの数。 |
|
InvocationThrottles |
サンプル数 |
システムがスロットリングした呼び出しの数。スロットリングされたリクエストやその他の呼び出しエラーは、呼び出しまたはエラーとしてはカウントされない 表示されるスロットリングの数は、SDK の再試行設定によって異なります。詳細については、「SDK およびツールリファレンスガイド」の「再試行動作」を参照してください。 AWS SDKs |
|
InputTokenCount |
サンプル数 |
入力内のトークン数。 |
| LegacyModelInvocations | サンプル数 | レガシーモデルを使用した呼び出しの数 |
|
OutputTokenCount |
サンプル数 |
出力内のトークン数。 |
|
OutputImageCount |
サンプル数 |
出力内の画像の数 (画像生成モデルにのみ適用されます)。 |
|
TimeToFirstToken |
ミリ秒 |
ConverseStream および InvokeModelWithResponseStream ストリーミング API オペレーションで、最初のトークンが受信されたときにリクエストが に送信されるまでの時間。 |
|
EstimatedTPMQuotaUsage |
サンプル数 |
Converse、ConverseStreamInvokeModel、InvokeModelWithResponseStream API オペレーションにおける 1 分あたりの推定トークン (TPM) クォータ消費量。このメトリクスは概算であり、スロットリングの決定を促進する予約ベースのトークン消費を反映していません。スロットリングは、入力トークンの前払い予約と |
|
CacheReadInputTokens |
サンプル数 |
プロンプトキャッシュから読み取られた入力トークンの数。これらのトークンは割引料金で請求され、TPM クォータにはカウントされません。 |
|
CacheWriteInputTokens |
サンプル数 |
プロンプトキャッシュに書き込まれた入力トークンの数。これらのトークンは TPM クォータにカウントされます。 |
Amazon Bedrock のガードレールと Amazon Bedrock エージェントのメトリクスもあります。
CloudWatch メトリクスのモデル呼び出しログ記録
配信が成功または失敗するたびに、名前空間 AWS/Bedrock と Across all model IDs ディメンションに関する次の Amazon CloudWatch メトリクスが出力されます。
-
ModelInvocationLogsCloudWatchDeliverySuccess -
ModelInvocationLogsCloudWatchDeliveryFailure -
ModelInvocationLogsS3DeliverySuccess -
ModelInvocationLogsS3DeliveryFailure -
ModelInvocationLargeDataS3DeliverySuccess -
ModelInvocationLargeDataS3DeliveryFailure
Amazon Bedrock オペレーションのメトリクスを取得するには、以下の情報を指定する必要があります。
-
メトリクスディメンション。ディメンションは、メトリクスを識別するための名前と値のペアのセットです。Amazon Bedrock は、以下のディメンションをサポートしています。
-
ModelId- すべてのメトリクス -
ModelId + ImageSize + BucketedStepSize- OutputImageCount
-
-
メトリクス名 (
InvocationClientErrorsなど)。
Amazon Bedrock のメトリクスは、 AWS マネジメントコンソール、、 AWS CLIまたは CloudWatch API を使用して取得できます。CloudWatch API は、 AWS Software Development Kit (SDKsまたは CloudWatch API ツールのいずれかを使用して使用できます。
CloudWatch コンソールで Amazon Bedrock メトリクスを表示するには、ナビゲーションペインの [メトリクス] セクションに移動し、すべてのメトリクスオプションを選択し、モデル ID を検索します。
CloudWatch で Amazon Bedrock をモニタリングするには、CloudWatch への適切なアクセス許可が必要です。詳細については、「Amazon CloudWatch ユーザーガイドの「Amazon CloudWatch に対する認証とアクセスコントロール」を参照してください。
