View a markdown version of this page

AI エージェントメトリクス - Amazon Connect Customer
アクティブな AI エージェントAI エージェント呼び出しAI エージェント呼び出しの成功AI エージェント呼び出しの成功率AI エージェントレスポンスが役に立ちますAI エージェントのレスポンスが役に立たないAI ハンドオフAI ハンドオフレートAI レスポンスの完了率AI 関連の問い合わせAI プロンプト呼び出しの成功AI プロンプト呼び出しの成功率AI プロンプト呼び出しAI ツール呼び出しの成功AI ツール呼び出しの成功率AI ツール呼び出しAI ツールパラメータの精度AI ツール選択の精度AI ツール使用率の精度AI エージェントの平均会話ターンAI 会話の平均ターンAI プロンプトの平均呼び出しレイテンシーAI ツールの平均呼び出しレイテンシー完全性スコア忠実度スコア目標成功率ナレッジコンテンツのリファレンス応答したプロアクティブインテントプロアクティブインテントが検出されましたプロアクティブインテントの関与プロアクティブインテントエンゲージメントレートプロアクティブインテントレスポンスレート

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

AI エージェントメトリクス

AI エージェントのパフォーマンスをモニタリングするには、次のメトリクスを使用できます。AI エージェントの作成については、「AI エージェントの作成」を参照してください。AI プロンプトの作成の詳細については、「AI プロンプトの作成」を参照してください。AI エージェント MCP ツールの詳細については、「」を参照してくださいAI エージェント MCP ツール。

アクティブな AI エージェント

このメトリクスは、一意の AI エージェントの合計数を測定します。各 AI エージェントは、名前とバージョンの一意の組み合わせによって識別されます。

  • メトリクスタイプ: 整数

  • メトリクスカテゴリ: AI エージェント

  • GetMetricDataV2 API メトリクス識別子: ACTIVE_AI_AGENTS

  • ダッシュボードの場所: AI エージェントパフォーマンスダッシュボード、アクティブ AI エージェント

AI エージェント呼び出し

このメトリクスは、インスタンスあたりのすべての AI エージェントにおける AI エージェント呼び出しの合計数を測定します。

  • メトリクスタイプ: 整数

  • メトリクスカテゴリ: AI エージェント

  • GetMetricDataV2 API メトリクス識別子: AI_AGENT_INVOCATIONS

  • ダッシュボードの場所: AI エージェントパフォーマンスダッシュボード、AI エージェント呼び出し数

AI エージェント呼び出しの成功

このメトリクスは、API エラー、タイムアウト、システムの問題などの技術的な障害なしで正常に実行された AI エージェント呼び出しの数を測定します。

  • メトリクスタイプ: 整数

  • メトリクスカテゴリ: AI エージェント

  • GetMetricDataV2 API メトリクス識別子: AI_AGENT_INVOCATION_SUCCESS

AI エージェント呼び出しの成功率

このメトリクスは、技術的な障害なしで正常に実行された AI エージェント呼び出しの割合を測定します。

  • メトリクスタイプ: パーセント

  • メトリクスカテゴリ: AI エージェント

  • GetMetricDataV2 API メトリクス識別子: AI_AGENT_INVOCATION_SUCCESS_RATE

  • ダッシュボードの場所: AI エージェントパフォーマンスダッシュボード、AI エージェント呼び出し成功率

AI エージェントレスポンスが役に立ちます

このメトリクスは、サムアップに役立つと評価された AI 提案の数を測定します。

  • メトリクスタイプ: 整数

  • メトリクスカテゴリ: AI エージェント

  • GetMetricDataV2 API メトリクス識別子: AI_AGENT_RESPONSE_HELPFUL

  • ダッシュボードの場所: AI Agent Performance Dashboard、AI Agent Response Helpful

注記

このメトリクスは 6 時間ごとに更新されます。このメトリクスは、Connect Customer AI の一部として使用できます。

AI エージェントのレスポンスが役に立たない

このメトリクスは、サムダウンで役に立たないと評価された AI 提案の数を測定します。

  • メトリクスタイプ: 整数

  • メトリクスカテゴリ: AI エージェント

  • GetMetricDataV2 API メトリクス識別子: AI_AGENT_RESPONSE_NOT_HELPFUL

  • ダッシュボードの場所: AI エージェントのパフォーマンスダッシュボード、AI エージェントレスポンスが役に立たない

注記

このメトリクスは 6 時間ごとに更新されます。このメトリクスは、Connect Customer AI の一部として使用できます。

AI ハンドオフ

このメトリクスは、人間のエージェントにエスカレーションされた AI エージェントによって処理された問い合わせの合計数を測定します。このメトリクスは、AI エージェントが最初に顧客の問い合わせを処理するセルフサービスのユースケースに特に当てはまります。

  • メトリクスタイプ: 整数

  • メトリクスカテゴリ: AI セッション

  • GetMetricDataV2 API メトリクス識別子: AI_HANDOFFS

AI ハンドオフレート

このメトリクスは、AI エージェントが対応した問い合わせのうち、人間のエージェントへのエスカレーションや追加のサポートがあった問い合わせの割合を測定します。

  • メトリクスタイプ: パーセント

  • メトリクスカテゴリ: AI セッション

  • GetMetricDataV2 API メトリクス識別子: AI_HANDOFF_RATE

  • ダッシュボードの場所: AI エージェントパフォーマンスダッシュボード、ハンドオフレート

AI レスポンスの完了率

このメトリクスは、受信する顧客のリクエストに正常に応答した AI セッションの割合を測定します。

  • メトリクスタイプ: パーセント

  • メトリクスカテゴリ: AI セッション

  • GetMetricDataV2 API メトリクス識別子: AI_RESPONSE_COMPLETION_RATE

  • ダッシュボードの場所: AI エージェントパフォーマンスダッシュボード、レスポンス完了率

AI 関連の問い合わせ

このメトリクスは、AI エージェントが関与した顧客の問い合わせの合計数を測定し、セルフサービスの自動化を提供するか、顧客の問い合わせの解決において人間のエージェントを支援します。

  • メトリクスタイプ: 整数

  • メトリクスカテゴリ: AI セッション

  • GetMetricDataV2 API メトリクス識別子: AI_INVOLVED_CONTACTS

  • ダッシュボードの場所: AI エージェントパフォーマンスダッシュボード、AI 関連の問い合わせ

AI プロンプト呼び出しの成功

このメトリクスは、エラーなしで正常に実行された AI プロンプト呼び出しの数を測定します。

  • メトリクスタイプ: 整数

  • メトリクスカテゴリ: AI プロンプト

  • GetMetricDataV2 API メトリクス識別子: AI_PROMPT_INVOCATION_SUCCESS

AI プロンプト呼び出しの成功率

このメトリクスは、正常に実行された AI プロンプト呼び出しの割合を測定します。

  • メトリクスタイプ: パーセント

  • メトリクスカテゴリ: AI プロンプト

  • GetMetricDataV2 API メトリクス識別子: AI_PROMPT_INVOCATION_SUCCESS_RATE

  • ダッシュボードの場所: AI エージェントパフォーマンスダッシュボード、AI プロンプト呼び出しの成功率

AI プロンプト呼び出し

このメトリクスは、AI プロンプト呼び出しの合計数を測定します。

  • メトリクスタイプ: 整数

  • メトリクスカテゴリ: AI プロンプト

  • GetMetricDataV2 API メトリクス識別子: AI_PROMPT_INVOCATIONS

  • ダッシュボードの場所: AI エージェントパフォーマンスダッシュボード、AI プロンプト呼び出し数

AI ツール呼び出しの成功

このメトリクスは、正常に実行された AI ツール呼び出しの総数を測定します。

  • メトリクスタイプ: 整数

  • メトリクスカテゴリ: AI ツール

  • GetMetricDataV2 API メトリクス識別子: AI_TOOL_INVOCATION_SUCCESS

AI ツール呼び出しの成功率

このメトリクスは、正常に実行された AI ツール呼び出しの割合を測定します。

  • メトリクスタイプ: パーセント

  • メトリクスカテゴリ: AI ツール

  • GetMetricDataV2 API メトリクス識別子: AI_TOOL_INVOCATION_SUCCESS_RATE

  • ダッシュボードの場所: AI エージェントパフォーマンスダッシュボード、AI ツール呼び出しの成功率

AI ツール呼び出し

このメトリクスは、AI Tool 呼び出しの合計数を測定します。

  • メトリクスタイプ: 整数

  • メトリクスカテゴリ: AI ツール

  • GetMetricDataV2 API メトリクス識別子: AI_TOOL_INVOCATIONS

  • ダッシュボードの場所: AI エージェントパフォーマンスダッシュボード、AI ツール呼び出し数

AI ツールパラメータの精度

このメトリクスは、AI エージェントが正しいパラメータを提供したツール呼び出しのレートを測定します。値は 0～1 で、1 は完全なパラメータ精度を示します。

  • メトリクスタイプ: Double

  • メトリクスカテゴリ: AI ツール

  • GetMetricDataV2 API メトリクス識別子: AI_TOOL_PARAMETER_ACCURACY

  • ダッシュボードの場所: AI エージェントパフォーマンスダッシュボード、AI ツールパラメータの精度

評価基準:

このメトリクスは、会話コンテキストとツールのパラメータ定義に対して各ツール呼び出しに渡されたパラメータを分析する自動 LLM ベースの評価を使用します。各ツール呼び出しは、次の基準に基づいて正しいか正しくないかのいずれかとして採点されます。

  • 存在: すべての必須パラメータが存在し、正しく入力されていますか?

  • 精度: パラメータ値は、推測または引き受けるのではなく、会話コンテキストによって明示的に正当化されますか?

  • 精度: 追加、無関係、または偽造されたパラメータが含まれていますか?

注記

このメトリクスは 24 時間ごとに更新されます。このメトリクスは、Connect Customer AI の一部として使用できます。

AI ツール選択の精度

このメトリクスは、AI エージェントによる正しいツール選択のレートを測定します。値は 0～1 で、1 は最適な選択を示します。

  • メトリクスタイプ: Double

  • メトリクスカテゴリ: AI ツール

  • GetMetricDataV2 API メトリクス識別子: AI_TOOL_SELECTION_ACCURACY

  • ダッシュボードの場所: AI エージェントパフォーマンスダッシュボード、AI ツール選択の精度

評価基準:

このメトリクスは、AI エージェントによって行われた各ツール呼び出しを分析する自動 LLM ベースの評価を使用します。各ツール呼び出しは、次の基準に基づいて正しいか正しくないかのいずれかとして採点されます。

  • 適切性: 選択したツールは、顧客のリクエストを満たすのに適していますか?

  • 必要性: AI エージェントは、不要なツール呼び出しや誤ったツール呼び出しを回避しましたか?

  • 最適な選択: AI エージェントが見逃した、より適切なツールがありましたか?

注記

このメトリクスは 24 時間ごとに更新されます。このメトリクスは、Connect Customer AI の一部として使用できます。

AI ツール使用率の精度

このメトリクスは、適切なパラメータや選択など、AI エージェントによる正しいツール使用率を測定します。値は 0～1 で、1 は完全な使用率を示します。

  • メトリクスタイプ: Double

  • メトリクスカテゴリ: AI ツール

  • GetMetricDataV2 API メトリクス識別子: AI_TOOL_UTILIZATION_ACCURACY

  • ダッシュボードの場所: AI エージェントパフォーマンスダッシュボード、AI ツール使用率の精度

評価基準:

このメトリクスは、AI ツールの選択精度と AI ツールパラメータの精度を組み合わせたスコアです。

注記

このメトリクスは 24 時間ごとに更新されます。このメトリクスは、Connect Customer AI の一部として使用できます。

AI エージェントの平均会話ターン

このメトリクスは、AI エージェントが結果を得るためにかかった会話ターンの平均数を測定します。

  • メトリクスタイプ: Double

  • メトリクスカテゴリ: AI エージェント

  • GetMetricDataV2 API メトリクス識別子: AVG_AI_AGENT_CONVERSATION_TURNS

  • ダッシュボードの場所: AI エージェントパフォーマンスダッシュボード、平均 AI エージェントの会話のターン

AI 会話の平均ターン

このメトリクスは、AI に関係するすべての問い合わせの会話ターンの平均数を測定します。

  • メトリクスタイプ: Double

  • メトリクスカテゴリ: AI セッション

  • GetMetricDataV2 API メトリクス識別子: AVG_AI_CONVERSATION_TURNS

  • ダッシュボードの場所: AI エージェントパフォーマンスダッシュボード、平均 AI 会話のターン

AI プロンプトの平均呼び出しレイテンシー

このメトリクスは、AI プロンプトの平均呼び出しレイテンシーをミリ秒単位で測定します。

  • メトリクスタイプ: Double

  • メトリクスカテゴリ: AI プロンプト

  • GetMetricDataV2 API メトリクス識別子: AVG_AI_PROMPT_INVOCATION_LATENCY

  • ダッシュボードの場所: AI エージェントパフォーマンスダッシュボード、平均 AI プロンプト呼び出しのレイテンシー

AI ツールの平均呼び出しレイテンシー

このメトリクスは、AI ツールの平均呼び出しレイテンシーをミリ秒単位で測定します。

  • メトリクスタイプ: Double

  • メトリクスカテゴリ: AI ツール

  • GetMetricDataV2 API メトリクス識別子: AVG_AI_TOOL_INVOCATION_LATENCY

  • ダッシュボードの場所: AI エージェントパフォーマンスダッシュボード、平均 AI ツールの呼び出しレイテンシー

完全性スコア

このメトリクスは、オーケストレーション AI エージェントのレスポンスが、部分的または不完全な回答を提供するのではなく、顧客のリクエストのすべての部分を完全に処理するセッションの割合を測定します。値は 0～1 で、1 はすべてのセッションで完全なレスポンスを示します。

  • メトリクスタイプ: Double

  • メトリクスカテゴリ: AI セッション

  • GetMetricDataV2 API メトリクス識別子: COMPLETENESS_SCORE

  • ダッシュボードの場所: AI エージェントパフォーマンスダッシュボード、平均 完全性スコア

評価基準:

このメトリクスは、各顧客のターンと AI エージェントの応答を分析する自動 LLM ベースの評価を使用します。カスタマーメッセージに複数のリクエストまたは質問が含まれている場合、評価は各メッセージが対処されたかどうかをチェックします。このメトリクスは、次の基準を使用して評価されます。

  • マルチリクエストカバレッジ: 1 ターン以内のすべての明示的なリクエストは、エージェントによって識別され、対処されましたか?

  • 対象の定義: 各リクエストは、ポリシー/制約により、直接回答されたか、行動する意図で確認されましたか、または不可能であると説明されましたか?

  • 即時応答範囲: 次のメッセージ前のエージェントの応答のみが評価されます。後の解決は遡及的にカウントされません。

注記

このメトリクスは 24 時間ごとに更新されます。このメトリクスは、Connect Customer AI の一部として使用できます。

忠実度スコア

このメトリクスは、メッセージやツール呼び出しの結果など、オーケストレーション AI エージェントのレスポンスが会話コンテキストに忠実であるセッションの割合を測定します。値は 0～1 で、1 は完全なコンテキスト忠実度を示します。

  • メトリクスタイプ: Double

  • メトリクスカテゴリ: AI セッション

  • GetMetricDataV2 API メトリクス識別子: FAITHFULNESS_SCORE

  • ダッシュボードの場所: AI エージェントパフォーマンスダッシュボード、平均 忠実度スコア

評価基準:

このメトリクスは、会話コンテキストに対する各 AI エージェントの応答を分析する自動 LLM ベースの評価を使用します。各レスポンスは、次の基準に基づいて忠実度が評価され、幻覚が確認されます。

  • 表現の精度: レスポンスは会話コンテキストからの情報を正確に表していますか?

  • 一貫性: 応答は会話で記述された事実との一貫性を維持しますか?

  • サポートされている推論: レスポンスがコンテキストによって合理的にサポートされる推論はありますか?

  • 正しいアトリビューション: レスポンスは、クレームを改ざんしたり調整を間違えたりすることなく、会話の適切なソースにステートメントと情報を正しく関連付けていますか?

注記

このメトリクスは 24 時間ごとに更新されます。このメトリクスは、Connect Customer AI の一部として使用できます。

目標成功率

このメトリクスは、オーケストレーション AI エージェントが顧客の問題を正常に解決したセッションの割合を測定します。値は 0～1 で、1 はすべてのセッションで解決が成功したことを示します。

  • メトリクスタイプ: Double

  • メトリクスカテゴリ: AI セッション

  • GetMetricDataV2 API メトリクス識別子: GOAL_SUCCESS_RATE

  • ダッシュボードの場所: AI エージェントパフォーマンスダッシュボード、目標成功率

評価基準:

このメトリクスは、各 AI エージェントセッションの完全な会話トレースを分析する自動 LLM ベースの評価を使用します。各セッションは、次の 4 つのディメンションに基づいて成功または失敗として採点されます。

  • 目標の達成: AI エージェントは顧客の主要目標を達成しましたか?

  • 結果の品質: 最終結果は正確であり、エラーはありませんか?

  • 完全性: リクエストのすべての側面に対処しましたか?

  • 適切性: AI エージェントは適切なツールとアプローチを使用しましたか?

注記

このメトリクスは 24 時間ごとに更新されます。このメトリクスは、Connect Customer AI の一部として使用できます。

ナレッジコンテンツのリファレンス

このメトリクスは、AI エージェントによって参照されるナレッジコンテンツ記事の数を測定します。

  • メトリクスタイプ: 整数

  • メトリクスカテゴリ: AI ナレッジベース

  • GetMetricDataV2 API メトリクス識別子: KNOWLEDGE_CONTENT_REFERENCES

  • ダッシュボードの場所: AI エージェントパフォーマンスダッシュボード、ナレッジベースリファレンス数

応答したプロアクティブインテント

このメトリクスは、AI セッション中に AI エージェントによって正常に応答されたプロアクティブインテント (顧客クエリ) の数を測定します。

  • メトリクスタイプ: 整数

  • メトリクスカテゴリ: AI セッション

  • GetMetricDataV2 API メトリクス識別子: PROACTIVE_INTENTS_ANSWERED

プロアクティブインテントが検出されました

このメトリクスは、AI セッション中に検出されたプロアクティブインテント (顧客クエリ) の数、特にエージェント支援のユースケースの数を測定します。

  • メトリクスタイプ: 整数

  • メトリクスカテゴリ: AI セッション

  • GetMetricDataV2 API メトリクス識別子: PROACTIVE_INTENTS_DETECTED

プロアクティブインテントの関与

このメトリクスは、AI セッション中に人間のエージェントが関与したプロアクティブインテント (顧客クエリ) の数を測定します。

  • メトリクスタイプ: 整数

  • メトリクスカテゴリ: AI セッション

  • GetMetricDataV2 API メトリクス識別子: PROACTIVE_INTENTS_ENGAGED

プロアクティブインテントエンゲージメントレート

このメトリクスは、人間のエージェントによってクリックまたはエンゲージされた、検出されたプロアクティブインテントの割合を測定します。

  • メトリクスタイプ: パーセント

  • メトリクスカテゴリ: AI セッション

  • GetMetricDataV2 API メトリクス識別子: PROACTIVE_INTENT_ENGAGEMENT_RATE

  • ダッシュボードの場所: AI エージェントパフォーマンスダッシュボード、プロアクティブインテントエンゲージメントレート

プロアクティブインテントレスポンスレート

このメトリクスは、AI エージェントによって正常に達成されたエンゲージメントされたプロアクティブインテントの割合を測定します。

  • メトリクスタイプ: パーセント

  • メトリクスカテゴリ: AI セッション

  • GetMetricDataV2 API メトリクス識別子: PROACTIVE_INTENT_RESPONSE_RATE