問い合わせ検索と問い合わせの詳細を使用した AI エージェントトレース

フロー、Lex ボット、AI エージェントの呼び出しとスパンの詳細とセルフサービスのトランスクリプト。このエクスペリエンスは、自動インタラクションログを利用しています。詳細については、Connect Customer で自動インタラクション (IVR) をモニタリングするを参照してください。

[フロー] および [フローモジュール] - [表示] アクセス許可: これらのアクセス許可は、自動インタラクションログでフローおよびモジュール固有のデータを表示するために必要です。

分析と最適化 - 自動インタラクション音声 (IVR) トランスクリプト (未編集) アクセス許可: これらのアクセス許可は、IVR プロンプトへの応答としてのキーパッド入力、Lex インタラクションのトランスクリプト、AI エージェントトレースなどの IVR インタラクションのログにアクセスするために必要です。

AI エージェントのパフォーマンスダッシュボードから: AI エージェントのパフォーマンスウィジェットに移動し、目的の AI エージェントをドリルダウンします。これにより、選択した AI エージェントと時間範囲に事前フィルタリングされた問い合わせ検索ページに自動的にリダイレクトされます。その AI エージェントによって処理されたすべての問い合わせが表示されます。連絡先 ID ハイパーリンクを選択して、連絡先の詳細を開きます。

問い合わせ検索から: 問い合わせ検索から直接問い合わせを検索します。詳細については、「完了したコンタクトと進行中のコンタクトを検索する」を参照してください。

完全性スコア: このメトリクスは、オーケストレーション AI エージェントのレスポンスが、部分的または不完全な回答を提供するのではなく、顧客のリクエストのすべての部分を完全に処理するセッションの割合を測定します。値は 0～1 で、1 はすべてのセッションで完全なレスポンスを示します。

忠実度スコア: このメトリクスは、メッセージやツールコールの結果など、オーケストレーション AI エージェントのレスポンスが会話コンテキストに忠実であるセッションの割合を測定します。値は 0～1 で、1 は完全なコンテキスト忠実度を示します。

目標成功率: このメトリクスは、オーケストレーション AI エージェントが顧客の問題を正常に解決したセッションの割合を測定します。値は 0～1 で、1 はすべてのセッションで解決が成功したことを示します。

ツール使用率の精度: このメトリクスは、適切なパラメータや選択など、AI エージェントによる正しいツール使用率を測定します。値は 0～1 で、1 は完全な使用率を示します。

フローとブロックのハイパーリンクを選択して、新しいタブでフローデザイナーを開き、フローをすばやく追跡できるようにします。

再生を選択して、音声録音ファイル内の特定のプロンプトを再生します。

顧客のタイムアウトや Lambda 関数のエラーなど、エラーが発生した場所をすばやく特定できます。

ハイパーリンクは、フローで設定された顧客入力の取得ブロックにリダイレクトされます。

ボットインテントがどこで検出および解決されるかは、アクションの結果ステータスで確認できます。

(+) アイコンを使用してすべてのトレースの詳細を展開し、(-) アイコンを使用してすべてのトレースの詳細を折りたたむことができます。トレースを手動で更新することもできます。

AI エージェント呼び出しアクティビティを選択すると、AI エージェントトレースの詳細が表示されます。

AI エージェントがプロンプトを呼び出すと (推論スパンを通じて実行される）、AI エージェントが Amazon Bedrock を介して LLM を呼び出します。トレースの詳細には、モデルの推論とツール呼び出し情報が表示されます。

ナレッジベースの引用リファレンスは、設定および利用可能な場合、プロンプト (推論スパン) のスパンの詳細で使用できます。引用を確実に設定するには、「ナレッジベースの取得設定」を参照してください。

ツール呼び出しごとに、ツールメタデータとツール呼び出しに渡された入力パラメータを表示できます。

各スパンのレイテンシーは、各アクティビティの右側に表示されます。

AI エージェントまたはプロンプトのハイパーリンクを選択して、それぞれ AI エージェント設定ページまたは AI エージェントプロンプトページに移動します。

ESC: Escalate の略。AI エージェントが人間のエージェントにエスカレーションされた日時を示します。

ERR: Error の略。スパンがエラーステータスを受け取ったとき。ステータスの説明には、エラーの詳細が表示されます。これには、次のようなエラーが含まれる場合があります。