View a markdown version of this page

AI 에이전트 성능 대시보드 - Amazon Connect 고객
대시보드에 대한 액세스 활성화"시간 범위" 및 "비교 대상" 벤치마크 지정셀프 서비스 AI 성능 요약에이전트 지원 AI 성능 요약AI 에이전트 성능호출 성공률별 AI 에이전트지식 기반 사용AI 에이전트 성능 추세AI 도구 사용AI 프롬프트 성능선제적 의도 추세호출 지연 시간별 AI 프롬프트호출 성공률별 AI 프롬프트

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

AI 에이전트 성능 대시보드

AI 에이전트 성능 대시보드를 사용하여 AI 에이전트 성능을 보고 AI 에이전트 및 시간 경과에 따른 인사이트를 얻을 수 있습니다.

대시보드는 집계된 AI 에이전트 성능을 볼 수 있는 단일 위치를 제공합니다. 대시보드를 사용하여 호출 수, 지연 시간 및 성공률과 같은 AI 에이전트 지표를 볼 수 있습니다.

대시보드에 대한 액세스 활성화

사용자에게 적절한 보안 프로필 권한이 할당되었는지 확인합니다.

액세스 지표 - 액세스 권한 또는 대시보드 - 액세스 권한. 행동의 차이에 대한 자세한 내용은 Amazon Connect에서 대시보드 및 보고서를 볼 수 있는 권한 할당 섹션을 참조하세요.

AI 에이전트 성능 대시보드에 액세스하려면 다음 보안 프로필 권한 중 하나 이상이 필요합니다.

  • AI 에이전트 디자이너 - AI 에이전트 보기 권한

  • AI 에이전트 디자이너 - AI 프롬프트 보기 권한

  • AI 에이전트 디자이너 - AI 가드레일 보기 권한

  • 에이전트 애플리케이션 - Connect 어시스턴트 보기 권한

대시보드는 분석 및 최적화 > 분석 대시보드 > AI 에이전트 성능에서 사용할 수 있습니다.

"시간 범위" 및 "비교 대상" 벤치마크 지정

시간 범위 필터를 사용하여 대시보드에서 데이터를 보려는 날짜 및 기간을 지정합니다.

기본적으로 대시보드에는 지난 주의 데이터가 표시됩니다. 최근에서 지난 15분 또는 최대 3개월의 기록으로 데이터를 보도록 시간 범위를 사용자 지정할 수 있습니다.

비교 필터를 사용하여 현재 데이터를 비교할 기간을 선택합니다. 이를 통해 추세를 식별하고 시간 경과에 따른 개선 사항 또는 문제를 추적할 수 있습니다.

셀프 서비스 AI 성능 요약

이 섹션에서는 AI 에이전트가 시작한 셀프 서비스 상호 작용의 상태를 보여줍니다. '셀프 서비스' 사용 사례로 필터링된 선택한 기간에 대한 다음 주요 지표가 표시됩니다.

  • AI 관련 연락처:

    AI 에이전트가 인적 에이전트를 참여시키지 않고 고객 문의를 해결한 총 처리된 고객 응대 수입니다.

  • 활성 AI 에이전트:

    각 에이전트가 이름과 버전의 고유한 조합으로 식별되는 고유한 AI 에이전트의 총 수입니다.

  • 응답 완료율:

    수신 요청에 성공적으로 응답한 AI 에이전트 세션의 백분율입니다.

  • 핸드오프 속도:

    AI 에이전트가 처리한 셀프 서비스 고객 응대 중 인적 에이전트를 포함하되 이에 국한되지 않는 추가 지원이 필요한 것으로 표시된 고객 응대의 비율입니다.

  • 목표 성공률:

    AI 에이전트가 고객 문제를 성공적으로 해결한 세션의 비율입니다. 값은 0~1 사이입니다. 여기서 1은 모든 세션에서 성공적인 확인을 나타냅니다.

  • 신뢰도 점수:

    메시지 및 도구 호출 결과를 포함하여 대화 컨텍스트에 충실하게 유지되는 AI 에이전트 응답의 비율입니다. 값은 0~1이며, 여기서 1은 완벽한 컨텍스트 충실도를 나타냅니다.

다음 이미지는 셀프 서비스 AI 성능 요약 차트의 예를 보여줍니다.

셀프 서비스 AI 에이전트 성능 요약 차트입니다.

에이전트 지원 AI 성능 요약

이 위젯은 AI가 인간 에이전트를 지원하는 에이전트 지원 상호 작용의 상태를 보여줍니다. 선택한 기간에 대한 다음 주요 지표가 '에이전트 지원' 사용 사례로 필터링되어 표시됩니다.

  • AI 관련 연락처:

    AI 에이전트가 고객 문의를 해결하는 데 인적 에이전트를 지원한 총 고객 응대 수입니다.

  • 활성 AI 에이전트:

    각 에이전트가 이름과 버전의 고유한 조합으로 식별되는 고유한 AI 에이전트의 총 수입니다.

  • 응답 완료율:

    수신 요청에 성공적으로 응답한 AI 에이전트 세션의 백분율입니다.

  • 선제적 의도 참여율:

    인간 에이전트가 클릭한 감지된 선제적 의도의 백분율입니다.

  • 신뢰도 점수:

    메시지 및 도구 호출 결과를 포함하여 대화 컨텍스트에 충실하게 유지되는 AI 에이전트 응답의 비율입니다. 값은 0~1이며, 여기서 1은 완벽한 컨텍스트 충실도를 나타냅니다.

다음 이미지는 에이전트 지원 AI 성능 요약 차트의 예를 보여줍니다.

에이전트 지원 AI 성능 요약 차트입니다.

AI 에이전트 성능

이 표는 사용 사례부터 개별 에이전트 버전 및 주요 성능 지표에 이르기까지 AI 에이전트 성능을 자세히 보여줍니다.

표에는 두 가지 수준의 성능 지표가 표시됩니다.

  • AI 사용 사례 수준:

    사용 사례 내의 모든 에이전트 버전에 대한 집계 지표(최종 고객 셀프 서비스, 에이전트 지원).

  • AI 에이전트 버전 수준:

    각 에이전트 버전에 대한 개별 성능 지표입니다.

사용 사례 행을 확장하거나 축소하여 특정 에이전트 버전으로 드릴다운할 수 있습니다. 각 버전이 전체 사용 사례 성능에 어떻게 기여하는지 확인하려면 각 에이전트 버전 행의 개별 지표를 확인합니다.

표시된 지표:

  • AI 에이전트 호출 수:

    AI 에이전트 버전이 호출된 총 횟수입니다.

  • AI 에이전트 호출 성공률:

    성공적으로 실행된 AI 에이전트 호출의 백분율입니다.

  • 평균 AI 에이전트 대화는 다음과 같이 전환됩니다.

    AI 에이전트가 결과에 도달하는 데 걸린 평균 대화 횟수입니다.

  • 유용한 응답:

    썸업에서 유용한 것으로 평가된 AI 제안 수입니다.

  • 도움이 되지 않는 응답:

    썸다운을 통해 도움이 되지 않는 것으로 평가된 AI 제안 수입니다.

  • 도구 사용률 정확도:

    AI 에이전트의 올바른 도구 사용률입니다. 값은 0~1이며, 여기서 1은 완벽한 사용률을 나타냅니다.

  • 도구 선택 정확도:

    AI 에이전트별 올바른 도구 선택 비율입니다. 값은 0~1이며, 여기서 1은 최적의 선택을 나타냅니다.

  • 도구 파라미터 정확도:

    AI 에이전트가 올바른 파라미터를 제공한 도구 호출 속도입니다. 값은 0~1이며, 여기서 1은 완벽한 파라미터 정확도를 나타냅니다.

다음 이미지는 AI 에이전트 성능 테이블의 예를 보여줍니다.

AI 에이전트 성능 테이블입니다.

호출 성공률별 AI 에이전트

호출 성공률별 AI 에이전트 차트에는 각 AI 에이전트의 호출 성공률이 표시됩니다. 이 차트에서 직접 특정 AI 에이전트, AI 에이전트 유형, AI 사용 사례 또는 기타 차원을 필터링하여이 위젯을 추가로 구성할 수 있습니다.

다음 이미지는 호출 성공률 차트별 AI 에이전트의 예를 보여줍니다.

호출 성공률 차트별 AI 에이전트입니다.

지식 기반 사용

이 표는 AI 에이전트가 참조하는 지식 기반 문서의 드릴다운 보기를 제공합니다. AI 에이전트 유형 및 AI 에이전트 행별로 확장하여 특정 지식 기반 이름으로 드릴다운하여 AI 에이전트가 지식 기반을 참조한 횟수를 확인할 수 있습니다.

표시된 지표:

  • 참조 수 - AI 에이전트가 문서를 참조한 횟수입니다.

다음 이미지는 지식 기반 사용 테이블의 예를 보여줍니다.

지식 기반 사용 테이블입니다.

AI 에이전트 성능 추세

AI 에이전트 성능 추세는 지정된 기간 동안 AI 에이전트 간접 호출 성공률(파란색 막대), 신뢰도 점수(빨간색 선) 및 도구 사용률 정확도(녹색 선)를 간격(15분, 일별, 주별, 월별)별로 구분하여 표시하는 시계열 차트입니다. 위젯에서 직접 '간격' 버튼을 사용하여 다양한 시간 범위 간격을 구성할 수 있습니다. 선택할 수 있는 간격은 페이지 수준 시간 범위 필터에 따라 달라집니다.

예제:

  • 대시보드 상단에 '오늘' 시간 범위 필터가 있는 경우 지난 24시간을 15분 간격으로만 볼 수 있습니다.

  • 대시보드 상단에 '일별' 시간 범위 필터가 있으면 지난 8일 간격 추세 또는 지난 24시간에 대한 15분 간격 추세를 볼 수 있습니다.

  • 대시보드 상단에 "주" 시간 범위 필터가 있는 경우 일별 또는 주별 간격 추세를 볼 수 있습니다.

  • 대시보드 상단에 "월" 시간 범위 필터가 있는 경우 일별 또는 월별 간격 추세를 볼 수 있습니다.

다음 이미지는 AI 에이전트 성능 추세 차트의 예를 보여줍니다.

AI 에이전트 성능 추세 차트입니다.

AI 도구 사용

이 표에서는 호출, 평균 지연 시간 및 호출 성공률, 도구 사용률 정확도에 대한 도구 구현(예: MCP - 모델 컨텍스트 프로토콜, Return-to-Control)을 비교합니다.

예를 들어 AI 에이전트 유형(예: 오케스트레이션 또는 답변 권장 사항)을 선택하고 해당 에이전트 유형 내에서 다양한 도구와 버전이 어떻게 작동하는지 확인할 수 있습니다. AI 도구 호출 횟수, AI 도구 호출 성공률 또는 평균을 사용하여 열을 정렬하여 최적화가 필요한 도구 버전을 식별할 수 있습니다. AI 도구 호출 지연 시간.

표에는 세 가지 수준의 성능 지표가 표시됩니다.

  • AI 에이전트 유형 수준:

    에이전트 유형 내의 모든 도구 및 버전에 대한 집계 지표입니다.

  • AI 도구 유형 수준:

    특정 도구 유형의 모든 버전에 대한 집계 지표입니다.

  • AI 도구:

    각 도구 버전의 개별 성능 지표입니다.

AI 에이전트 유형 및 도구 유형 행을 확장하거나 축소하여 특정 도구 버전으로 드릴다운할 수 있습니다. 각 버전이 전체 도구 유형 성능에 어떻게 기여하는지 확인하려면 각 도구 버전 행의 개별 지표를 확인합니다.

표시된 지표:

  • AI 도구 호출 수:

    AI 도구 버전이 호출된 총 횟수입니다.

  • 평균 AI 도구 호출 지연 시간:

    도구 버전의 밀리초 단위 평균 호출 지연 시간입니다.

  • AI 도구 호출 성공률:

    성공적으로 실행된 AI 도구 호출의 백분율입니다.

  • 도구 사용률 정확도:

    AI 에이전트의 올바른 도구 사용률입니다. 값은 0~1이며, 여기서 1은 완벽한 사용률을 나타냅니다.

  • 도구 선택 정확도:

    AI 에이전트별 올바른 도구 선택 비율입니다. 값은 0~1이며, 여기서 1은 최적의 선택을 나타냅니다.

  • 도구 파라미터 정확도:

    AI 에이전트가 올바른 파라미터를 제공한 도구 호출 속도입니다. 값은 0~1이며, 여기서 1은 완벽한 파라미터 정확도를 나타냅니다.

다음 이미지는 AI 도구 사용 테이블의 예를 보여줍니다.

AI 도구 사용 테이블입니다.

AI 프롬프트 성능

이 표는 AI 프롬프트 성능에 대한 드릴다운 보기를 제공합니다. AI 에이전트 유형 및 프롬프트 유형 행을 확장하여 특정 프롬프트 버전으로 드릴다운할 수 있습니다. 각 버전이 전체 프롬프트 유형 성능에 어떻게 기여하는지 확인하려면 각 프롬프트 버전 행의 개별 지표를 확인합니다.

표에는 세 가지 수준의 성능 지표가 표시됩니다.

  • AI 에이전트 유형 수준:

    AI 에이전트 유형에 대한 모든 프롬프트 및 버전에 대한 집계 지표입니다.

  • AI 프롬프트 유형 수준:

    특정 AI 프롬프트 유형의 모든 버전에 대한 집계 지표입니다.

  • AI 프롬프트 버전 수준:

    각 AI 프롬프트 버전에 대한 개별 성능 지표입니다.

표시된 지표:

  • AI 프롬프트 호출 수:

    AI 프롬프트 버전이 호출된 총 횟수입니다.

  • AI 프롬프트 호출 성공률:

    성공적으로 실행된 AI 프롬프트 호출의 백분율입니다.

  • 평균 AI 프롬프트 호출 지연 시간:

    AI 프롬프트 버전의 밀리초 단위 평균 호출 지연 시간입니다.

페이지 필터를 사용하는 것 외에도 특정 AI 에이전트, AI 프롬프트, 시간 범위 또는 기타 차원에 대한 필터를 테이블에 추가할 수 있습니다.

다음 이미지는 AI 프롬프트 성능 테이블의 예를 보여줍니다.

AI 프롬프트 성능 테이블입니다.

선제적 의도 추세

선제적 의도 추세 차트는 일정 기간 동안 탐지된 선제적 의도(파란색 막대)와 선제적 의도 참여율(빨간색 선) 및 선제적 의도 응답률(녹색 선)을 간격(15분, 일별, 주별, 월별)별로 구분하여 보여줍니다. 위젯에서 직접 '간격' 버튼을 사용하여 다양한 시간 범위 간격을 구성할 수 있습니다. 선택할 수 있는 간격은 페이지 수준 시간 범위 필터에 따라 달라집니다.

표시된 지표:

  • 감지된 선제적 의도:

    에이전트 지원 사용 사례에서 AI 세션 중에 탐지된 선제적 의도(고객 쿼리) 수입니다.

  • 선제적 의도 참여율:

    에이전트 지원 사용 사례에서 인간 에이전트가 클릭하거나 참여한 감지된 선제적 의도의 비율입니다.

  • 선제적 의도 응답률:

    에이전트 지원 사용 사례에서 AI 에이전트가 성공적으로 이행한 참여 선제적 의도의 비율입니다.

다음 이미지는 선제적 의도 추세 차트의 예를 보여줍니다.

선제적 의도 추세 차트입니다.

호출 지연 시간별 AI 프롬프트

호출 지연 시간별 AI 프롬프트 차트는 각 AI 프롬프트의 평균 호출 지연 시간을 밀리초 단위로 표시합니다. 이 차트에서 직접 특정 AI 프롬프트, AI 프롬프트 유형, AI 에이전트, AI 에이전트 유형, AI 사용 사례 또는 기타 차원을 필터링하여이 위젯을 추가로 구성할 수 있습니다.

다음 이미지는 호출 지연 시간 차트별 AI 프롬프트 예제를 보여줍니다.

호출 지연 시간 차트별 AI 프롬프트입니다.

호출 성공률별 AI 프롬프트

호출 성공률 차트에 각 AI 프롬프트의 호출 성공률이 표시됩니다. 이 차트에서 직접 특정 AI 프롬프트, AI 프롬프트 유형, AI 에이전트, AI 에이전트 유형, AI 사용 사례 또는 기타 차원을 필터링하여이 위젯을 추가로 구성할 수 있습니다.

다음 이미지는 호출 성공률 차트별 AI 프롬프트 예제를 보여줍니다.

호출 성공률 차트별 AI 프롬프트입니다.