生成 AI オブザーバビリティ - Amazon CloudWatch

生成 AI オブザーバビリティ

Amazon CloudWatch を使用すると、Amazon Bedrock AgentCore エージェントなどの生成 AI ワークロードを監視し、AI のパフォーマンス、ヘルス、精度に関するインサイトを得ることができます。CloudWatch は、AI ワークロードのレイテンシー、使用状況、エラーに関する事前設定済みのビューを提供するため、モデルやエージェントなどのコンポーネントの問題をより迅速に検出できます。エンドツーエンドのプロンプトトレーシングは、ナレッジベース、ツール、モデルなどのコンポーネントの問題をすばやく特定するのに役立ちます。CloudWatch の AI モニタリング機能は、AWS Strands、LangChain、LangGraph などの一般的な生成 AI オーケストレーションフレームワークと互換性があり、フレームワークの選択が柔軟になります。

CloudWatch 生成 AI オブザーバビリティを使用すると、以下のことが可能になります。

  • 自動モニタリングにより AI アプリケーションの品質と精度を大規模に評価し、モデル出力、応答品質メトリクス、エンドユーザーとのやり取りをキャプチャすることで手動レビューの必要性を削減する

  • モデル呼び出し、エージェント (マネージド型、セルフホスト型、サードパーティー)、ナレッジベース、ガードレール、ツールをモニタリングする

  • 優れた品質、パフォーマンス、信頼性を確保しながら、エージェントの実験から革新的な GenAI アプリケーションの制作までの進捗状況。詳細については、「What is Amazon Bedrock AgentCore?」を参照してください

  • エンドツーエンドのプロンプトトレース、厳選されたメトリクス、ログを使用して、エラーの原因をすばやく特定する

  • Application Signals、アラーム、ダッシュボード、機密データ保護、Logs Insights などの既存の CloudWatch オブザーバビリティツールを活用して、GenAI アプリケーション全体および基盤となるインフラストラクチャ全体の問題をトラブルシューティングする

  • Amazon Bedrock の使用中にプロンプトトレースにアクセスし、ADOT SDK を使用してサードパーティーモデルの構造化トレースを CloudWatch に送信する。Amazon Bedrock AgentCore エージェントまたはツールにオブザーバビリティを追加する方法については、「Amazon Bedrock AgentCore」を参照してください

CloudWatch 生成 AI オブザーバビリティは、次の 2 つの構築済み機能を提供します。

注記

Amazon Bedrock の推論に任意のモデルを使用することで、[モデル呼び出し] ダッシュボードを使用できます。

  • モデル呼び出し – モデルの使用、トークンの消費、およびモデル推論の詳細な入出力コンテンツを表示するための厳選された呼び出しログテーブルに関する詳細なメトリクスダッシュボード

  • Amazon Bedrock AgentCore エージェント – エージェント、メモリ、組み込みツール、ゲートウェイ、アイデンティティなどの Amazon Bedrock AgentCore のプリミティブのパフォーマンスと決定メトリクス

これらのダッシュボードで使用できる主要なメトリクスは以下のとおりです。

  • 合計呼び出し数と平均呼び出し数

  • トークンの使用 (合計、クエリあたりの平均、入力、出力)

  • レイテンシー (平均、P90、P99)

  • エラー率とスロットリングイベント

  • アプリケーション、ユーザーロール、または特定のユーザー別のコスト属性

トピック