기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
# AI 에이전트 성능 대시보드
**AI 에이전트 성능 대시보드**를 사용하여 AI 에이전트 성능을 보고 AI 에이전트 및 시간 경과에 따른 인사이트를 얻을 수 있습니다.
대시보드는 집계된 AI 에이전트 성능을 볼 수 있는 단일 위치를 제공합니다. 대시보드를 사용하여 호출 수, 지연 시간 및 성공률과 같은 AI 에이전트 지표를 볼 수 있습니다.
**Topics**
+ [대시보드에 대한 액세스 활성화](#enable-ai-agent-performance-dashboard)
+ ["시간 범위" 및 "비교 대상" 벤치마크 지정](#ai-agents-timerange)
+ [셀프 서비스 AI 성능 요약](#self-service-ai-agent-performance-summary)
+ [에이전트 지원 AI 성능 요약](#ai-agent-assistance-performance-summary-dashboard)
+ [AI 에이전트 성능](#ai-agents-performance)
+ [호출 성공률별 AI 에이전트](#ai-agents-by-invocation-success-chart)
+ [지식 기반 사용](#knowledge-base-usage)
+ [AI 에이전트 성능 추세](#ai-agent-performance-trend)
+ [AI 도구 사용](#ai-tools-usage)
+ [AI 프롬프트 성능](#ai-prompt-performance)
+ [선제적 의도 추세](#proactive-intents-trend)
+ [호출 지연 시간별 AI 프롬프트](#ai-prompts-by-invocation-latency)
+ [호출 성공률별 AI 프롬프트](#ai-prompts-by-invocation-success-rate)
## 대시보드에 대한 액세스 활성화
사용자에게 적절한 보안 프로필 권한이 할당되었는지 확인합니다.
**액세스 지표 - 액세스 권한** 또는 **대시보드 - 액세스 권한**. 행동의 차이에 대한 자세한 내용은 [Amazon Connect에서 대시보드 및 보고서를 볼 수 있는 권한 할당](dashboard-required-permissions.md) 섹션을 참조하세요.
AI 에이전트 성능 대시보드에 액세스하려면 다음 보안 프로필 권한 중 하나 이상이 필요합니다.
+ **AI 에이전트 디자이너 - AI 에이전트 **보기 권한
+ **AI 에이전트 디자이너 - AI 프롬프트 **보기 권한
+ **AI 에이전트 디자이너 - AI 가드레일** 보기 권한
+ **에이전트 애플리케이션 - Connect 어시스턴트 **보기 권한
대시보드는 **분석 및 최적화 > 분석 대시보드 > AI 에이전트 성능에서 사용할 수 있습니다**.
## "시간 범위" 및 "비교 대상" 벤치마크 지정
**시간 범위** 필터를 사용하여 대시보드에서 데이터를 보려는 날짜 및 기간을 지정합니다.
기본적으로 대시보드에는 지난 주의 데이터가 표시됩니다. 최근에서 지난 15분 또는 최대 3개월의 기록으로 데이터를 보도록 시간 범위를 사용자 지정할 수 있습니다.
**비교** 필터를 사용하여 현재 데이터를 비교할 기간을 선택합니다. 이를 통해 추세를 식별하고 시간 경과에 따른 개선 사항 또는 문제를 추적할 수 있습니다.
## 셀프 서비스 AI 성능 요약
이 섹션에서는 AI 에이전트가 시작한 셀프 서비스 상호 작용의 상태를 보여줍니다. '셀프 서비스' 사용 사례로 필터링된 선택한 기간에 대한 다음 주요 지표가 표시됩니다.
+ **AI 관련 연락처**:
AI 에이전트가 인적 에이전트를 참여시키지 않고 고객 문의를 해결한 총 처리된 고객 응대 수입니다.
+ **활성 AI 에이전트**:
각 에이전트가 이름과 버전의 고유한 조합으로 식별되는 고유한 AI 에이전트의 총 수입니다.
+ **응답 완료율**:
수신 요청에 성공적으로 응답한 AI 에이전트 세션의 백분율입니다.
+ **핸드오프 속도**:
AI 에이전트가 처리한 셀프 서비스 고객 응대 중 인적 에이전트를 포함하되 이에 국한되지 않는 추가 지원이 필요한 것으로 표시된 고객 응대의 비율입니다.
+ **목표 성공률**:
AI 에이전트가 고객 문제를 성공적으로 해결한 세션의 비율입니다. 값은 0\~1 사이입니다. 여기서 1은 모든 세션에서 성공적인 확인을 나타냅니다.
+ **신뢰도 점수**:
메시지 및 도구 호출 결과를 포함하여 대화 컨텍스트에 충실하게 유지되는 AI 에이전트 응답의 비율입니다. 값은 0\~1이며, 여기서 1은 완벽한 컨텍스트 충실도를 나타냅니다.
다음 이미지는 **셀프 서비스 AI 성능 요약** 차트의 예를 보여줍니다.
## 에이전트 지원 AI 성능 요약
이 위젯은 AI가 인간 에이전트를 지원하는 에이전트 지원 상호 작용의 상태를 보여줍니다. 선택한 기간에 대한 다음 주요 지표가 '에이전트 지원' 사용 사례로 필터링되어 표시됩니다.
+ **AI 관련 연락처**:
AI 에이전트가 고객 문의를 해결하는 데 인적 에이전트를 지원한 총 고객 응대 수입니다.
+ **활성 AI 에이전트**:
각 에이전트가 이름과 버전의 고유한 조합으로 식별되는 고유한 AI 에이전트의 총 수입니다.
+ **응답 완료율**:
수신 요청에 성공적으로 응답한 AI 에이전트 세션의 백분율입니다.
+ **선제적 의도 참여율**:
인간 에이전트가 클릭한 감지된 선제적 의도의 백분율입니다.
+ **신뢰도 점수**:
메시지 및 도구 호출 결과를 포함하여 대화 컨텍스트에 충실하게 유지되는 AI 에이전트 응답의 비율입니다. 값은 0\~1이며, 여기서 1은 완벽한 컨텍스트 충실도를 나타냅니다.
다음 이미지는 **에이전트 지원 AI 성능 요약** 차트의 예를 보여줍니다.
## AI 에이전트 성능
이 표는 사용 사례부터 개별 에이전트 버전 및 주요 성능 지표에 이르기까지 AI 에이전트 성능을 자세히 보여줍니다.
표에는 두 가지 수준의 성능 지표가 표시됩니다.
+ **AI 사용 사례 수준**:
사용 사례 내의 모든 에이전트 버전에 대한 집계 지표(최종 고객 셀프 서비스, 에이전트 지원).
+ **AI 에이전트 버전 수준**:
각 에이전트 버전에 대한 개별 성능 지표입니다.
사용 사례 행을 확장하거나 축소하여 특정 에이전트 버전으로 드릴다운할 수 있습니다. 각 버전이 전체 사용 사례 성능에 어떻게 기여하는지 확인하려면 각 에이전트 버전 행의 개별 지표를 확인합니다.
**표시된 지표:**
+ **AI 에이전트 호출 수**:
AI 에이전트 버전이 호출된 총 횟수입니다.
+ **AI 에이전트 호출 성공률**:
성공적으로 실행된 AI 에이전트 호출의 백분율입니다.
+ **평균 AI 에이전트 대화는 다음과 같이 전환**됩니다.
AI 에이전트가 결과에 도달하는 데 걸린 평균 대화 횟수입니다.
+ **유용한 응답**:
썸업에서 유용한 것으로 평가된 AI 제안 수입니다.
+ **도움이 되지 않는 응답**:
썸다운을 통해 도움이 되지 않는 것으로 평가된 AI 제안 수입니다.
+ **도구 사용률 정확도**:
AI 에이전트의 올바른 도구 사용률입니다. 값은 0\~1이며, 여기서 1은 완벽한 사용률을 나타냅니다.
+ **도구 선택 정확도**:
AI 에이전트별 올바른 도구 선택 비율입니다. 값은 0\~1이며, 여기서 1은 최적의 선택을 나타냅니다.
+ **도구 파라미터 정확도**:
AI 에이전트가 올바른 파라미터를 제공한 도구 호출 속도입니다. 값은 0\~1이며, 여기서 1은 완벽한 파라미터 정확도를 나타냅니다.
다음 이미지는 **AI 에이전트 성능** 테이블의 예를 보여줍니다.
## 호출 성공률별 AI 에이전트
호출 성공률별 AI 에이전트 차트에는 각 AI 에이전트의 호출 성공률이 표시됩니다. 이 차트에서 직접 특정 AI 에이전트, AI 에이전트 유형, AI 사용 사례 또는 기타 차원을 필터링하여이 위젯을 추가로 구성할 수 있습니다.
다음 이미지는 **호출 성공률 차트별 AI 에이전트**의 예를 보여줍니다.
## 지식 기반 사용
이 표는 AI 에이전트가 참조하는 지식 기반 문서의 드릴다운 보기를 제공합니다. AI 에이전트 유형 및 AI 에이전트 행별로 확장하여 특정 지식 기반 이름으로 드릴다운하여 AI 에이전트가 지식 기반을 참조한 횟수를 확인할 수 있습니다.
**표시된 지표:**
+ **참조 수** - AI 에이전트가 문서를 참조한 횟수입니다.
다음 이미지는 **지식 기반 사용** 테이블의 예를 보여줍니다.
## AI 에이전트 성능 추세
AI 에이전트 성능 추세는 지정된 기간 동안 AI 에이전트 간접 호출 성공률(파란색 막대), 신뢰도 점수(빨간색 선) 및 도구 사용률 정확도(녹색 선)를 간격(15분, 일별, 주별, 월별)별로 구분하여 표시하는 시계열 차트입니다. 위젯에서 직접 '간격' 버튼을 사용하여 다양한 시간 범위 간격을 구성할 수 있습니다. 선택할 수 있는 간격은 페이지 수준 시간 범위 필터에 따라 달라집니다.
예제:
+ 대시보드 상단에 '오늘' 시간 범위 필터가 있는 경우 지난 24시간을 15분 간격으로만 볼 수 있습니다.
+ 대시보드 상단에 '일별' 시간 범위 필터가 있으면 지난 8일 간격 추세 또는 지난 24시간에 대한 15분 간격 추세를 볼 수 있습니다.
+ 대시보드 상단에 "주" 시간 범위 필터가 있는 경우 일별 또는 주별 간격 추세를 볼 수 있습니다.
+ 대시보드 상단에 "월" 시간 범위 필터가 있는 경우 일별 또는 월별 간격 추세를 볼 수 있습니다.
다음 이미지는 **AI 에이전트 성능 추세** 차트의 예를 보여줍니다.
## AI 도구 사용
이 표에서는 호출, 평균 지연 시간 및 호출 성공률, 도구 사용률 정확도에 대한 도구 구현(예: MCP - 모델 컨텍스트 프로토콜, Return-to-Control)을 비교합니다.
예를 들어 AI 에이전트 유형(예: 오케스트레이션 또는 답변 권장 사항)을 선택하고 해당 에이전트 유형 내에서 다양한 도구와 버전이 어떻게 작동하는지 확인할 수 있습니다. AI 도구 **호출 횟수, AI 도구** 호출 **성공률** 또는 **평균을 사용하여 열을 정렬하여 최적화가 필요한 도구 버전을 식별할 수 있습니다. AI 도구 호출 지연 시간**.
표에는 세 가지 수준의 성능 지표가 표시됩니다.
+ **AI 에이전트 유형 수준**:
에이전트 유형 내의 모든 도구 및 버전에 대한 집계 지표입니다.
+ **AI 도구 유형 수준**:
특정 도구 유형의 모든 버전에 대한 집계 지표입니다.
+ **AI 도구**:
각 도구 버전의 개별 성능 지표입니다.
AI 에이전트 유형 및 도구 유형 행을 확장하거나 축소하여 특정 도구 버전으로 드릴다운할 수 있습니다. 각 버전이 전체 도구 유형 성능에 어떻게 기여하는지 확인하려면 각 도구 버전 행의 개별 지표를 확인합니다.
**표시된 지표:**
+ **AI 도구 호출 수**:
AI 도구 버전이 호출된 총 횟수입니다.
+ **평균 AI 도구 호출 지연 시간**:
도구 버전의 밀리초 단위 평균 호출 지연 시간입니다.
+ **AI 도구 호출 성공률**:
성공적으로 실행된 AI 도구 호출의 백분율입니다.
+ **도구 사용률 정확도**:
AI 에이전트의 올바른 도구 사용률입니다. 값은 0\~1이며, 여기서 1은 완벽한 사용률을 나타냅니다.
+ **도구 선택 정확도**:
AI 에이전트별 올바른 도구 선택 비율입니다. 값은 0\~1이며, 여기서 1은 최적의 선택을 나타냅니다.
+ **도구 파라미터 정확도**:
AI 에이전트가 올바른 파라미터를 제공한 도구 호출 속도입니다. 값은 0\~1이며, 여기서 1은 완벽한 파라미터 정확도를 나타냅니다.
다음 이미지는 **AI 도구 사용** 테이블의 예를 보여줍니다.
## AI 프롬프트 성능
이 표는 AI 프롬프트 성능에 대한 드릴다운 보기를 제공합니다. AI 에이전트 유형 및 프롬프트 유형 행을 확장하여 특정 프롬프트 버전으로 드릴다운할 수 있습니다. 각 버전이 전체 프롬프트 유형 성능에 어떻게 기여하는지 확인하려면 각 프롬프트 버전 행의 개별 지표를 확인합니다.
표에는 세 가지 수준의 성능 지표가 표시됩니다.
+ **AI 에이전트 유형 수준**:
AI 에이전트 유형에 대한 모든 프롬프트 및 버전에 대한 집계 지표입니다.
+ **AI 프롬프트 유형 수준**:
특정 AI 프롬프트 유형의 모든 버전에 대한 집계 지표입니다.
+ **AI 프롬프트 버전 수준**:
각 AI 프롬프트 버전에 대한 개별 성능 지표입니다.
**표시된 지표:**
+ **AI 프롬프트 호출 수**:
AI 프롬프트 버전이 호출된 총 횟수입니다.
+ **AI 프롬프트 호출 성공률**:
성공적으로 실행된 AI 프롬프트 호출의 백분율입니다.
+ **평균 AI 프롬프트 호출 지연 시간**:
AI 프롬프트 버전의 밀리초 단위 평균 호출 지연 시간입니다.
페이지 필터를 사용하는 것 외에도 특정 AI 에이전트, AI 프롬프트, 시간 범위 또는 기타 차원에 대한 필터를 테이블에 추가할 수 있습니다.
다음 이미지는 **AI 프롬프트 성능** 테이블의 예를 보여줍니다.
## 선제적 의도 추세
선제적 의도 추세 차트는 일정 기간 동안 탐지된 선제적 의도(파란색 막대)와 선제적 의도 참여율(빨간색 선) 및 선제적 의도 응답률(녹색 선)을 간격(15분, 일별, 주별, 월별)별로 구분하여 보여줍니다. 위젯에서 직접 '간격' 버튼을 사용하여 다양한 시간 범위 간격을 구성할 수 있습니다. 선택할 수 있는 간격은 페이지 수준 시간 범위 필터에 따라 달라집니다.
**표시된 지표:**
+ **감지된 선제적 의도**:
에이전트 지원 사용 사례에서 AI 세션 중에 탐지된 선제적 의도(고객 쿼리) 수입니다.
+ **선제적 의도 참여율**:
에이전트 지원 사용 사례에서 인간 에이전트가 클릭하거나 참여한 감지된 선제적 의도의 비율입니다.
+ **선제적 의도 응답률**:
에이전트 지원 사용 사례에서 AI 에이전트가 성공적으로 이행한 참여 선제적 의도의 비율입니다.
다음 이미지는 **선제적 의도 추세** 차트의 예를 보여줍니다.
## 호출 지연 시간별 AI 프롬프트
호출 지연 시간별 AI 프롬프트 차트는 각 AI 프롬프트의 평균 호출 지연 시간을 밀리초 단위로 표시합니다. 이 차트에서 직접 특정 AI 프롬프트, AI 프롬프트 유형, AI 에이전트, AI 에이전트 유형, AI 사용 사례 또는 기타 차원을 필터링하여이 위젯을 추가로 구성할 수 있습니다.
다음 이미지는 **호출 지연 시간 차트별 AI 프롬프트 예제를** 보여줍니다.
## 호출 성공률별 AI 프롬프트
호출 성공률 차트에 각 AI 프롬프트의 호출 성공률이 표시됩니다. 이 차트에서 직접 특정 AI 프롬프트, AI 프롬프트 유형, AI 에이전트, AI 에이전트 유형, AI 사용 사례 또는 기타 차원을 필터링하여이 위젯을 추가로 구성할 수 있습니다.
다음 이미지는 **호출 성공률 차트별 AI 프롬프트 예제를** 보여줍니다.
