작동 방식

AgentCore 인사이트는 에이전트의 프로덕션 동작에 대한 세 가지 질문에 답합니다. 왜 실패하나요? 사용자가 요청하는 것은 무엇입니까? 및 문제를 어떻게 해결하나요?

얻는 것

인사이트를 실행하면 다음을 받게 됩니다.

개별 오류가 아니라 근본 원인별로 그룹화된 반복되는 문제인 실패 패턴의 우선 순위 목록 입니다. 각 패턴은 무엇이 왜 잘못되었는지 알려줍니다. Insights는 AgentCore 권장 기능과 통합되어 실패 패턴에 대한 수정 사항을 생성합니다.
사용자 의도 맵 - 사용자가 달성하려고 하는 가장 일반적인 사물이며 빈도별로 순위가 매겨집니다.
에이전트 행동 패턴 요약 - 에이전트가 일반적으로 문제에 접근하는 방식과 어떤 결과를 달성하는지.

이는 구성할 수 있는 세 가지 인사이트 유형에 해당합니다.

Insights는 사용자 메시지, 에이전트 추론, 도구 호출 및 응답의 전체 레코드인 에이전트의 세션 추적을 검사하고 두 가지 수준에서 결과를 생성합니다.

각 세션은 개별적으로 분석되어 다음을 결정합니다.

에이전트가 실행 중에 오류가 발생했는지 여부 - 세션이 성공한 것처럼 보일 때도 최종 사용자에게 표시되지 않을 수 있는 추적 내 숨겨진 실패 포함
발생한 실패 범주(도구 오류, 할루시네이션, 잘못된 도구 선택 등)
에이전트 실행에서 실패를 일으킨 특정 단계
근본 원인은 무엇입니까?
사용자가 달성하려고 했던 것
에이전트가 취한 접근 방식과 최종 결과

개별 세션을 분석한 후 서비스는 유사한 결과를 그룹화하여 모든 세션에서 반복 패턴을 식별합니다. 실패 분석의 경우 3단계 계층 구조가 생성됩니다.

장애 범주: "실행 오류", "환각" 또는 "잘못된 작업"과 같은 광범위한 그룹화.
하위 범주: "속도 제한" 또는 "도구 스키마 오류"와 같은 보다 구체적인 장애 유형입니다.
근본 원인 클러스터: 각 하위 범주 내에서 특정 반복되는 근본 원인입니다. 각 클러스터는 다음을 알려줍니다.
- 근본 원인
- 영향을 받는 세션 수
- 세부 정보를 검사할 수 있는 세션

사용자 의도 및 실행 요약의 경우 서비스는 빈도별로 순위가 매겨진 플랫 클러스터를 생성합니다.

인사이트 실행 시기를 제어할 수 있습니다.

일회성: 배포 후, 사용자 불만이 급증한 후 또는 주간 검토의 일부로 분석을 원할 때마다 인사이트를 StartBatchEvaluation 얻습니다.
반복: 클러스터링 빈도(DAILY, WEEKLY또는 MONTHLY)를 구성하고 서비스가 자동으로 실행되어 수동 개입 없이 정기 보고서를 제공합니다.

Insights는 에이전트 장애 유형의 광범위한 분류를 인식합니다.

카테고리	예제
실행 오류	인증 실패, 리소스를 찾을 수 없음, 서비스 오류, 속도 제한, 제한 시간, 도구 스키마 위반
작업 지침 문제	지침 미준수, 문제 식별 실패
잘못된 작업	잘못된 도구 선택, 잘못된 정보 검색, 부적절한 설명 요청
컨텍스트 처리	턴 간 컨텍스트 처리 실패
할루시네이션	조작된 기능, 오해, 잘못된 사용, 기록 조작, 파라미터 할루시네이션, 조작된 도구 출력
반복 동작	도구 호출 반복, 정보 요청 반복, 단계 반복
오케스트레이션 오류	근거 불일치, 목표 편차, 조기 종료, 인식하지 못한 종료
LLM 출력 문제	비감각적 출력
구성 불일치	도구 정의 불일치
코딩별	엣지 사례 감독, 종속성 문제

javascript가 브라우저에서 비활성화되거나 사용이 불가합니다.

AWS 설명서를 사용하려면 Javascript가 활성화되어야 합니다. 지침을 보려면 브라우저의 도움말 페이지를 참조하십시오.

인사이트(미리 보기)

사전 조건