에이전트 세부 정보 - 평가

평가는 AI 에이전트에 대한 지속적인 품질 모니터링 지표를 제공합니다. 대시보드에서 제공되는 정보를 사용하여 AI 에이전트의 성능, 품질, 신뢰성을 평가할 수 있습니다.

평가에서는 시뮬레이션된 테스트 사례를 사용하는 대신, 실제 사용자 세션과 에이전트 상호 작용을 캡처하여 입력에서 최종 출력에 이르기까지 에이전트 성능을 종합적으로 살펴볼 수 있도록 지원합니다. 에이전트 평가를 사용하면 세션 또는 트레이스의 비율(%)만 평가하도록 샘플링 규칙을 정의한 다음, 다양한 평가자를 적용하여 AI 에이전트의 운영 성능을 평가하고 점수를 매길 수 있습니다. 결과 평가 및 점수는 평가 대시보드에 표시되므로 사용자가 추세를 모니터링하고, 잠재적 품질 문제를 식별하고, 경보를 설정하고, 잠재적 문제를 조사 및 진단할 수 있습니다.

평가 대시보드에는 선택한 에이전트에 대해 활성화되고 구성된 모든 평가가 나열됩니다. 에이전트에 대한 평가 구성과 관련된 자세한 내용은 AgentCore 평가 섹션을 참조하세요. 각 평가를 확장하여 평가된 세션, 트레이스, 스팬을 볼 수 있습니다.

평가 세부 정보

대시보드에는 각 평가에 대해 다음과 같은 섹션이 포함되어 있습니다.

Evaluation configuration metrics: 전체 평가 구성에 대한 지표가 제공됩니다. 평가자는 AI 에이전트 성능의 특정한 요소를 평가하는 방법을 정의합니다. 평가자에 대한 자세한 내용을 보려면 평가자 열에서 해당 이름을 선택합니다. 막대 차트를 보고 평가자의 추세를 분석하려면 개수 열에서 값을 선택합니다.
Session evaluations: 세션 수준에서 평가자에 대한 평가 결과가 제공됩니다. 세션은 단일 사용자 또는 워크플로의 관련된 상호 작용을 논리적으로 그룹화한 것입니다. 세션에는 하나 이상의 트레이스가 포함될 수 있습니다. 트레이스 평가 섹션에서 한 세션을 선택하여 해당 세션 내의 트레이스 목록으로 필터링 범위를 좁힐 수 있습니다.
Trace evaluations: 트레이스 수준에서 평가자에게 평가 결과를 제공합니다. 트레이스는 단일 에이전트 실행 또는 요청에 대한 전체 레코드입니다. 트레이스에는 하나 이상의 스팬이 포함될 수 있습니다. 트레이스를 선택하면 해당 트레이스에서 실행된 모든 평가자와 함께 트레이스 세부 정보를 볼 수 있습니다.
Span evaluations: 스팬 수준에서 평가자에게 평가 결과를 제공합니다. 스팬은 해당 실행 중에 수행된 개별 작업을 나타냅니다. 스팬을 선택하여 해당 스팬 동안 수행된 모든 작업과 함께 스팬 세부 정보를 볼 수 있습니다.

평가 그래프

평가 대시보드에는 각 평가자에 대한 막대 그래프도 포함됩니다. 그래프에는 시간 경과에 따른 각 평가자의 추세가 표시되며, 그래프에서 특정 지표 값에 대한 경보를 설정할 수 있습니다. 경보를 설정하려면 그래프에서 막대를 클릭한 다음, 경보(종 모양) 아이콘을 선택합니다. 자세한 내용은 Amazon CloudWatch 경보 사용 섹션을 참조하세요.