View a markdown version of this page

AI 에이전트 지표 - Amazon Connect Customer
활성 AI 에이전트AI 에이전트 호출AI 에이전트 호출 성공AI 에이전트 호출 성공률AI 에이전트 응답 유용AI 에이전트 응답이 유용하지 않음AI 핸드오프AI 핸드오프 속도AI 응답 완료율AI 관련 고객 응대AI 프롬프트 호출 성공AI 프롬프트 호출 성공률AI 프롬프트 호출AI 도구 호출 성공AI 도구 호출 성공률AI 도구 호출AI 도구 파라미터 정확도AI 도구 선택 정확도AI 도구 사용률 정확도평균 AI 에이전트 대화 전환평균 AI 대화 전환평균 AI 프롬프트 호출 지연 시간평균 AI 도구 호출 지연 시간완전성 점수신뢰도 점수목표 성공률지식 콘텐츠 참조응답된 선제적 의도선제적 의도 감지됨사전 예방적 의도 참여선제적 의도 참여율선제적 의도 응답률

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

AI 에이전트 지표

AI 에이전트 성능을 모니터링하는 데 사용할 수 있는 지표는 다음과 같습니다. AI 에이전트 생성에 대한 자세한 내용은 AI 에이전트 생성을 참조하세요. AI 프롬프트 생성에 대한 자세한 내용은 AI 프롬프트 생성을 참조하세요. AI 에이전트 MCP 도구에 대한 자세한 내용은 섹션을 참조하세요AI 에이전트 MCP 도구.

활성 AI 에이전트

이 지표는 각 AI 에이전트가 이름과 버전의 고유한 조합으로 식별되는 고유한 AI 에이전트의 총 수를 측정합니다.

  • 지표 유형: 정수

  • 지표 범주: AI 에이전트

  • GetMetricDataV2 API 지표 식별자: ACTIVE_AI_AGENTS

  • 대시보드 위치: AI 에이전트 성능 대시보드, 활성 AI 에이전트

AI 에이전트 호출

이 지표는 인스턴스당 모든 AI 에이전트의 총 AI 에이전트 호출 수를 측정합니다.

  • 지표 유형: 정수

  • 지표 범주: AI 에이전트

  • GetMetricDataV2 API 지표 식별자: AI_AGENT_INVOCATIONS

  • 대시보드 위치: AI 에이전트 성능 대시보드, AI 에이전트 간접 호출 수

AI 에이전트 호출 성공

이 지표는 API 오류, 제한 시간 또는 시스템 문제와 같은 기술적 장애 없이 성공적으로 실행된 AI 에이전트 호출 수를 측정합니다.

  • 지표 유형: 정수

  • 지표 범주: AI 에이전트

  • GetMetricDataV2 API 지표 식별자: AI_AGENT_INVOCATION_SUCCESS

AI 에이전트 호출 성공률

이 지표는 기술적 장애 없이 성공적으로 실행된 AI 에이전트 호출의 비율을 측정합니다.

  • 지표 유형: 퍼센트

  • 지표 범주: AI 에이전트

  • GetMetricDataV2 API 지표 식별자: AI_AGENT_INVOCATION_SUCCESS_RATE

  • 대시보드 위치: AI 에이전트 성능 대시보드, AI 에이전트 호출 성공률

AI 에이전트 응답 유용

이 지표는 썸업을 통해 유용한 것으로 평가된 AI 제안 수를 측정합니다.

  • 지표 유형: 정수

  • 지표 범주: AI 에이전트

  • GetMetricDataV2 API 지표 식별자: AI_AGENT_RESPONSE_HELPFUL

  • 대시보드 위치: AI 에이전트 성능 대시보드, AI 에이전트 응답 유용

참고

이 지표는 6시간마다 업데이트됩니다. 이 지표는 Connect Customer AI의 일부로 사용할 수 있습니다.

AI 에이전트 응답이 유용하지 않음

이 지표는 썸다운을 통해 도움이 되지 않는 것으로 평가된 AI 제안 수를 측정합니다.

  • 지표 유형: 정수

  • 지표 범주: AI 에이전트

  • GetMetricDataV2 API 지표 식별자: AI_AGENT_RESPONSE_NOT_HELPFUL

  • 대시보드 위치: AI 에이전트 성능 대시보드, AI 에이전트 응답 유용하지 않음

참고

이 지표는 6시간마다 업데이트됩니다. 이 지표는 Connect Customer AI의 일부로 사용할 수 있습니다.

AI 핸드오프

이 지표는 인간 에이전트에게 에스컬레이션된 AI 에이전트가 처리한 총 고객 응대 수를 측정합니다. 이 지표는 AI 에이전트가 처음에 고객 문의를 처리하는 셀프 서비스 사용 사례에 특히 적용됩니다.

  • 지표 유형: 정수

  • 지표 범주: AI 세션

  • GetMetricDataV2 API 지표 식별자: AI_HANDOFFS

AI 핸드오프 속도

이 지표는 AI 에이전트가 처리한 고객 응대 중 인간 에이전트로 에스컬레이션하거나 추가 지원을 받은 고객 응대의 비율을 측정합니다.

  • 지표 유형: 퍼센트

  • 지표 범주: AI 세션

  • GetMetricDataV2 API 지표 식별자: AI_HANDOFF_RATE

  • 대시보드 위치: AI 에이전트 성능 대시보드, 핸드오프 속도

AI 응답 완료율

이 지표는 들어오는 고객 요청에 성공적으로 응답한 AI 세션의 비율을 측정합니다.

  • 지표 유형: 퍼센트

  • 지표 범주: AI 세션

  • GetMetricDataV2 API 지표 식별자: AI_RESPONSE_COMPLETION_RATE

  • 대시보드 위치: AI 에이전트 성능 대시보드, 응답 완료율

AI 관련 고객 응대

이 지표는 AI 에이전트가 관여한 고객 응대의 총 수를 측정하여 셀프 서비스 자동화를 제공하거나 인적 에이전트가 고객 문의를 해결하는 데 도움을 줍니다.

  • 지표 유형: 정수

  • 지표 범주: AI 세션

  • GetMetricDataV2 API 지표 식별자: AI_INVOLVED_CONTACTS

  • 대시보드 위치: AI 에이전트 성능 대시보드, AI 관련 고객 응대

AI 프롬프트 호출 성공

이 지표는 오류 없이 성공적으로 실행된 AI 프롬프트 호출 수를 측정합니다.

  • 지표 유형: 정수

  • 지표 범주: AI 프롬프트

  • GetMetricDataV2 API 지표 식별자: AI_PROMPT_INVOCATION_SUCCESS

AI 프롬프트 호출 성공률

이 지표는 성공적으로 실행된 AI 프롬프트 호출의 백분율을 측정합니다.

  • 지표 유형: 퍼센트

  • 지표 범주: AI 프롬프트

  • GetMetricDataV2 API 지표 식별자: AI_PROMPT_INVOCATION_SUCCESS_RATE

  • 대시보드 위치: AI 에이전트 성능 대시보드, AI 프롬프트 호출 성공률

AI 프롬프트 호출

이 지표는 AI 프롬프트 호출의 총 수를 측정합니다.

  • 지표 유형: 정수

  • 지표 범주: AI 프롬프트

  • GetMetricDataV2 API 지표 식별자: AI_PROMPT_INVOCATIONS

  • 대시보드 위치: AI 에이전트 성능 대시보드, AI 프롬프트 호출 수

AI 도구 호출 성공

이 지표는 성공적으로 실행된 AI 도구 호출의 총 수를 측정합니다.

  • 지표 유형: 정수

  • 지표 범주: AI 도구

  • GetMetricDataV2 API 지표 식별자: AI_TOOL_INVOCATION_SUCCESS

AI 도구 호출 성공률

이 지표는 성공적으로 실행된 AI 도구 호출의 백분율을 측정합니다.

  • 지표 유형: 퍼센트

  • 지표 범주: AI 도구

  • GetMetricDataV2 API 지표 식별자: AI_TOOL_INVOCATION_SUCCESS_RATE

  • 대시보드 위치: AI 에이전트 성능 대시보드, AI 도구 호출 성공률

AI 도구 호출

이 지표는 AI 도구 호출의 총 수를 측정합니다.

  • 지표 유형: 정수

  • 지표 범주: AI 도구

  • GetMetricDataV2 API 지표 식별자: AI_TOOL_INVOCATIONS

  • 대시보드 위치: AI 에이전트 성능 대시보드, AI 도구 호출 수

AI 도구 파라미터 정확도

이 지표는 AI 에이전트가 올바른 파라미터를 제공한 도구 호출 속도를 측정합니다. 값은 0~1이며, 여기서 1은 완벽한 파라미터 정확도를 나타냅니다.

  • 지표 유형: 배정밀도

  • 지표 범주: AI 도구

  • GetMetricDataV2 API 지표 식별자: AI_TOOL_PARAMETER_ACCURACY

  • 대시보드 위치: AI 에이전트 성능 대시보드, AI 도구 파라미터 정확도

평가 기준:

이 지표는 대화 컨텍스트 및 도구의 파라미터 정의를 기준으로 각 도구 호출에 전달된 파라미터를 분석하는 자동화된 LLM 기반 평가를 사용합니다. 각 도구 호출은 다음 기준에 따라 정답 또는 오답으로 채점됩니다.

  • 프레즌스: 필요한 모든 파라미터가 존재하고 올바르게 채워집니까?

  • 정확도: 파라미터 값이 추론되거나 가정되지 않고 대화 컨텍스트에 의해 명시적으로 정당화됩니까?

  • 정밀도: 추가, 관련 없음 또는 구성된 파라미터가 포함되어 있습니까?

참고

이 지표는 24시간마다 업데이트됩니다. 이 지표는 Connect Customer AI의 일부로 사용할 수 있습니다.

AI 도구 선택 정확도

이 지표는 AI 에이전트별 올바른 도구 선택 속도를 측정합니다. 값은 0~1이며, 여기서 1은 최적의 선택을 나타냅니다.

  • 지표 유형: 배정밀도

  • 지표 범주: AI 도구

  • GetMetricDataV2 API 지표 식별자: AI_TOOL_SELECTION_ACCURACY

  • 대시보드 위치: AI 에이전트 성능 대시보드, AI 도구 선택 정확도

평가 기준:

이 지표는 AI 에이전트가 수행한 각 도구 호출을 분석하는 자동화된 LLM 기반 평가를 사용합니다. 각 도구 호출은 다음 기준에 따라 정답 또는 오답으로 채점됩니다.

  • 적절성: 선택한 도구가 고객의 요청을 이행하는 데 적합한 도구였습니까?

  • 필수: AI 에이전트가 불필요하거나 잘못된 도구 호출을 피했습니까?

  • 최적의 선택: AI 에이전트가 놓친 더 적절한 도구가 있었나요?

참고

이 지표는 24시간마다 업데이트됩니다. 이 지표는 Connect Customer AI의 일부로 사용할 수 있습니다.

AI 도구 사용률 정확도

이 지표는 적절한 파라미터 및 선택을 포함하여 AI 에이전트의 올바른 도구 사용률을 측정합니다. 값은 0~1이며, 여기서 1은 완벽한 사용률을 나타냅니다.

  • 지표 유형: 배정밀도

  • 지표 범주: AI 도구

  • GetMetricDataV2 API 지표 식별자: AI_TOOL_UTILIZATION_ACCURACY

  • 대시보드 위치: AI 에이전트 성능 대시보드, AI 도구 사용률 정확도

평가 기준:

이 지표는 AI 도구 선택 정확도와 AI 도구 파라미터 정확도의 결합된 점수입니다.

참고

이 지표는 24시간마다 업데이트됩니다. 이 지표는 Connect Customer AI의 일부로 사용할 수 있습니다.

평균 AI 에이전트 대화 전환

이 지표는 AI 에이전트가 결과에 도달하는 데 걸린 평균 대화 전환 횟수를 측정합니다.

  • 지표 유형: 배정밀도

  • 지표 범주: AI 에이전트

  • GetMetricDataV2 API 지표 식별자: AVG_AI_AGENT_CONVERSATION_TURNS

  • 대시보드 위치: AI 에이전트 성능 대시보드, 평균 AI 에이전트 대화 전환

평균 AI 대화 전환

이 지표는 모든 AI 관련 고객 응대의 평균 대화 전환 횟수를 측정합니다.

  • 지표 유형: 배정밀도

  • 지표 범주: AI 세션

  • GetMetricDataV2 API 지표 식별자: AVG_AI_CONVERSATION_TURNS

  • 대시보드 위치: AI 에이전트 성능 대시보드, 평균 AI 대화 전환

평균 AI 프롬프트 호출 지연 시간

이 지표는 AI 프롬프트의 평균 호출 지연 시간을 밀리초 단위로 측정합니다.

  • 지표 유형: 배정밀도

  • 지표 범주: AI 프롬프트

  • GetMetricDataV2 API 지표 식별자: AVG_AI_PROMPT_INVOCATION_LATENCY

  • 대시보드 위치: AI 에이전트 성능 대시보드, 평균 AI 프롬프트 호출 지연 시간

평균 AI 도구 호출 지연 시간

이 지표는 AI 도구의 평균 호출 지연 시간을 밀리초 단위로 측정합니다.

  • 지표 유형: 배정밀도

  • 지표 범주: AI 도구

  • GetMetricDataV2 API 지표 식별자: AVG_AI_TOOL_INVOCATION_LATENCY

  • 대시보드 위치: AI 에이전트 성능 대시보드, 평균 AI 도구 호출 지연 시간

완전성 점수

이 지표는 오케스트레이션 AI 에이전트 응답이 부분적이거나 불완전한 답변을 제공하는 대신 고객 요청의 모든 부분을 완전히 처리하는 세션의 비율을 측정합니다. 값은 0~1이며, 여기서 1은 모든 세션에서 완전한 응답을 나타냅니다.

  • 지표 유형: 배정밀도

  • 지표 범주: AI 세션

  • GetMetricDataV2 API 지표 식별자: COMPLETENESS_SCORE

  • 대시보드 위치: AI 에이전트 성능 대시보드, 평균 완전성 점수

평가 기준:

이 지표는 각 고객 턴과 AI 에이전트의 응답을 분석하는 자동화된 LLM 기반 평가를 사용합니다. 고객 메시지에 여러 요청 또는 질문이 포함된 경우 평가는 각 요청 또는 질문이 해결되었는지 확인합니다. 이 지표는 다음 기준을 사용하여 평가됩니다.

  • 다중 요청 적용 범위: 에이전트가 단일 턴 내의 모든 명시적 요청을 식별하고 처리했습니까?

  • 의 정의: 정책/제한 사항으로 인해 각 요청에 직접 응답했거나, 조치를 취할 의도로 승인되었거나, 불가능하다고 설명되었습니까?

  • 즉각적인 응답 범위: 다음 메시지가 평가되기 전에 에이전트의 응답만 가능합니다. 이후 해결 방법은 소급 적용되지 않습니다.

참고

이 지표는 24시간마다 업데이트됩니다. 이 지표는 Connect Customer AI의 일부로 사용할 수 있습니다.

신뢰도 점수

이 지표는 메시지 및 도구 호출 결과를 포함하여 오케스트레이션 AI 에이전트 응답이 대화 컨텍스트에 충실하게 유지되는 세션의 비율을 측정합니다. 값은 0~1이며, 여기서 1은 완벽한 컨텍스트 충실도를 나타냅니다.

  • 지표 유형: 배정밀도

  • 지표 범주: AI 세션

  • GetMetricDataV2 API 지표 식별자: FAITHFULNESS_SCORE

  • 대시보드 위치: AI 에이전트 성능 대시보드, 평균 신뢰도 점수

평가 기준:

이 지표는 대화 컨텍스트에 대해 각 AI 에이전트 응답을 분석하는 자동화된 LLM 기반 평가를 사용합니다. 각 응답은 다음 기준에 따라 충실도를 평가하고 할루시네이션을 확인합니다.

  • 표현의 정확도: 응답이 대화 컨텍스트의 정보를 정확하게 표현하나요?

  • 일관성: 응답이 대화에 명시된 사실과 일관성을 유지하나요?

  • 지원되는 추론: 응답이 컨텍스트에서 합리적으로 지원하는 추론이 있습니까?

  • 올바른 속성: 응답이 클레임을 조작하거나 잘못 정렬하지 않고 대화의 올바른 소스에 문과 정보를 올바르게 속성화합니까?

참고

이 지표는 24시간마다 업데이트됩니다. 이 지표는 Connect Customer AI의 일부로 사용할 수 있습니다.

목표 성공률

이 지표는 오케스트레이션 AI 에이전트가 고객 문제를 성공적으로 해결한 세션의 비율을 측정합니다. 값은 0~1이며, 여기서 1은 모든 세션에서 성공적인 확인을 나타냅니다.

  • 지표 유형: 배정밀도

  • 지표 범주: AI 세션

  • GetMetricDataV2 API 지표 식별자: GOAL_SUCCESS_RATE

  • 대시보드 위치: AI 에이전트 성능 대시보드, 목표 성공률

평가 기준:

이 지표는 각 AI 에이전트 세션에 대한 전체 대화 추적을 분석하는 자동화된 LLM 기반 평가를 사용합니다. 각 세션은 네 가지 차원에 따라 성공 또는 실패로 점수가 매겨집니다.

  • 목표 달성: AI 에이전트가 고객의 기본 목표를 달성했나요?

  • 결과 품질: 최종 결과가 정확하고 오류가 없나요?

  • 완전성: 요청의 모든 측면을 해결했나요?

  • 적절성: AI 에이전트가 적절한 도구와 접근 방식을 사용했나요?

참고

이 지표는 24시간마다 업데이트됩니다. 이 지표는 Connect Customer AI의 일부로 사용할 수 있습니다.

지식 콘텐츠 참조

이 지표는 AI 에이전트가 참조하는 지식 콘텐츠 문서의 수를 측정합니다.

  • 지표 유형: 정수

  • 지표 범주: AI 지식 기반

  • GetMetricDataV2 API 지표 식별자: KNOWLEDGE_CONTENT_REFERENCES

  • 대시보드 위치: AI 에이전트 성능 대시보드, 지식 기반 참조 수

응답된 선제적 의도

이 지표는 AI 세션 중에 AI 에이전트가 성공적으로 응답한 선제적 의도(고객 쿼리)의 수를 측정합니다.

  • 지표 유형: 정수

  • 지표 범주: AI 세션

  • GetMetricDataV2 API 지표 식별자: PROACTIVE_INTENTS_ANSWERED

선제적 의도 감지됨

이 지표는 AI 세션 중, 특히 에이전트 지원 사용 사례에서 탐지된 선제적 의도(고객 쿼리) 수를 측정합니다.

  • 지표 유형: 정수

  • 지표 범주: AI 세션

  • GetMetricDataV2 API 지표 식별자: PROACTIVE_INTENTS_DETECTED

사전 예방적 의도 참여

이 지표는 AI 세션 중에 인간 에이전트가 참여한 선제적 의도(고객 쿼리)의 수를 측정합니다.

  • 지표 유형: 정수

  • 지표 범주: AI 세션

  • GetMetricDataV2 API 지표 식별자: PROACTIVE_INTENTS_ENGAGED

선제적 의도 참여율

이 지표는 인간 에이전트가 클릭하거나 참여한 감지된 선제적 의도의 비율을 측정합니다.

  • 지표 유형: 퍼센트

  • 지표 범주: AI 세션

  • GetMetricDataV2 API 지표 식별자: PROACTIVE_INTENT_ENGAGEMENT_RATE

  • 대시보드 위치: AI 에이전트 성능 대시보드, 선제적 의도 참여율

선제적 의도 응답률

이 지표는 AI 에이전트가 성공적으로 이행한 참여 선제적 의도의 비율을 측정합니다.

  • 지표 유형: 퍼센트

  • 지표 범주: AI 세션

  • GetMetricDataV2 API 지표 식별자: PROACTIVE_INTENT_RESPONSE_RATE