モデル呼び出し
CloudWatch 生成 AI オブザーバビリティを使用すると、モデル呼び出しのパフォーマンスをモニタリングできます。すぐに使用できるビューを使用して、呼び出し数、トークンの使用状況、エラーなどのメトリクスを追跡できます。入力や出力などの呼び出しコンテンツを詳細に可視化するには、Bedrock 呼び出しログ記録を有効にし、ログを CloudWatch に送信します。詳細については、「Set up a CloudWatch Logs destination」および「Help protect sensitive log data with masking」を参照してください。
Amazon Bedrock でのモデル呼び出しの有効化
注記
呼び出しを表示するには、Amazon Bedrock でモデル呼び出しのログ記録を有効にする必要があります。
Amazon Bedrock でモデル呼び出しログ記録を有効にするには、以下の手順に従います。
Amazon Bedrock コンソール (https://console.aws.amazon.com/bedrock/
) を開きます。 [設定] を選択します。
[モデル呼び出しのログ記録] で、[モデル呼び出しのログ記録] を選択します。
ログに含める必要なデータ型を選択します。ログを CloudWatch Logs のみに送信するか、Amazon S3 と CloudWatch Logs の両方に送信するかを選択します。
CloudWatch Logs 設定で、ロググループ名を作成し、適切なサービスロールを選択します。
ログに含める必要なデータ型を選択します。
[設定を保存] を選択します
Amazon Bedrock 呼び出しの使用を開始すると、事前設定されたダッシュボードを自動的に表示できます。
Model Invocation loggingを有効にすると、デフォルトのダッシュボードを表示し、その下の呼び出しテーブルにアクセスできます。
呼び出し数 – Converse、ConverseStream、InvokeModel、InvokeModelWithResponseStream API オペレーションに対する成功したリクエストの数
呼び出しレイテンシー – 呼び出しのレイテンシー
モデル別のトークン数 – 入力トークン数と出力トークン数で示されるモデル別のトークン数
ModelID 別の日次トークン数 – モデル ID 別の日次合計トークン数
InputTokenCount、OutputTokenCount – 選択したモデル全体でのこのアカウントの入出力トークンの合計数
入力トークンでグループ化されたリクエスト – 入力トークンでグループ化されたリクエストの数を 6 つの範囲に分類します。各行は、特定の範囲に含まれるリクエストの数を表します
呼び出しスロットリング – システムがスロットリングした呼び出しの数。表示されるスロットリングの数は、SDK の再試行設定によって異なります。詳細については、「AWS SDK とツールのリファレンスガイド」の「Retry」を参照してください
呼び出しエラー数 – サーバー側およびクライアント側のエラーが発生する呼び出しの数
モデル呼び出しダッシュボードを使用するには、以下の手順に従います。
メトリクスグラフにカーソルを合わせて、呼び出しの詳細を表示します。[アラーム] アイコンを選択して、
Alarmsを設定し、アプリケーションの品質とパフォーマンスをモニタリングできます。アラームの設定については、「メトリクスに関する警告」を参照してください。メトリクスの詳細については、「Amazon Bedrock runtime metrics」を参照してください。[ModelID] ドロップダウンでモデル ID を選択して、対応するメトリクスを表示できます。
[CloudWatch メトリクスで表示] を選択して、CloudWatch のダッシュボードメトリクスを表示します。
[期間の上書き] を選択して、メトリクスの時間枠 (1 分、1 時間、6 時間など) を調整します。
[呼び出し] で、[リクエスト ID] を選択してリクエストの詳細を表示します。モデル呼び出しの入力と出力の詳細を右ペインで表示できます。
[リクエスト ID] ページの [アクション] ドロップダウンで、[Logs Insights で表示] を選択して CloudWatch でログを表示します。詳細については、「CloudWatch Logs Insights を使用したログデータの分析」を参照してください。
