기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

# 평가자 반사 구체화 루프 패턴
<a name="evaluator-reflect-refine-loop-patterns"></a>

코드 생성, 요약 또는 자율 의사 결정과 같은 작업은 런타임 피드백의 이점을 크게 활용하므로 시스템이 관찰 및 개선을 통해 발전할 수 있습니다. 이를 운영하기 위해 반사 구체화 주기를 자율적이고 지능적인 워크플로에 맞게 조정된 시스템 엔지니어링에서 영감을 받은 패턴인 이벤트 기반 피드백 제어 루프로 구현할 수 있습니다.

다음 다이어그램은 평가자 반사 구체화 피드백 루프의 예입니다.

![\[평가자 반영-구체화 피드백 루프.\]](http://docs.aws.amazon.com/ko_kr/prescriptive-guidance/latest/agentic-ai-patterns/images/workflow-for-evaluator.png)


## 피드백 제어 루프
<a name="feedback-control-loop"></a>

피드백 제어 루프는 자체 출력 및 동작을 모니터링하고 정의된 기준 또는 원하는 상태를 기준으로 이를 평가한 다음 그에 따라 작업을 조정하는 패턴입니다. 이 아키텍처는 제어 이론에서 영감을 받았으며 자동화, 지속적 통합 및 지속적 전달(CI/CD) 파이프라인, 기계 학습 운영과 같은 도메인의 기본입니다.

다음 다이어그램은 피드백 제어 루프의 예입니다.

![\[피드백 제어 루프.\]](http://docs.aws.amazon.com/ko_kr/prescriptive-guidance/latest/agentic-ai-patterns/images/workflow-patterns-feedback-control-loop.png)


1. 배포 파이프라인은 buildComplete 이벤트를 내보냅니다.

1. 이벤트는 빌드를 검증하는 자동 테스트 또는 평가 작업을 트리거합니다.

1. 검증에 실패하면(예: 테스트 실패, 보안 문제 또는 정책 위반으로 인해) 시스템은 다음을 수행합니다.
   + buildComplete 이벤트를 내보냅니다.
   + 문제를 로깅하거나 알림을 보냅니다.
   + 롤백, 패치 적용 또는 재시도와 같은 수정 또는 수정 작업을 트리거합니다.

루프는 허용 가능한 결과 또는 에스컬레이션이 생성되거나 제한 시간이 발생할 때까지 계속됩니다. 이 패턴은 일반적으로 다음과 같은 경우에 사용됩니다.
+ 이벤트를 평가 또는 수정 작업으로 라우팅하는 Amazon EventBridge 규칙
+ AWS Step Functions 반복 재시도 로직 및 평가 결과에 대한 분기
+ 피드백 트리거 및 알림에 대한 Amazon Simple Notification Service(Amazon SNS) 또는 Amazon CloudWatch 경보
+ AWS Lambda 수정 조치를 적용하기 위한 함수 또는 컨테이너화된 작업자

## 피드백 제어 루프(평가자)
<a name="feedback-control-loop-evaluator"></a>

평가자 워크플로는 LLMs 또는 추론 에이전트로 구동되는 인지 피드백 루프입니다. 프로세스는 다음으로 구성됩니다.

1. 생성기 에이전트 또는 LLM은 출력(예: 계획, 답변 또는 초안)을 생성합니다.

1. 평가자 에이전트는 비평 프롬프트 또는 평가 마찰을 사용하여 결과를 검토합니다.

1. 피드백을 기반으로 원래 에이전트 또는 새 옵티마이저 에이전트가 출력을 수정합니다.

루프는 결과가 기준 집합을 충족하거나 승인되거나 재시도 제한에 도달할 때까지 반복됩니다.

## 평가자
<a name="evaluator"></a>

1. 사용자가 에이전트에게 정책 요약을 작성하도록 요청합니다.

1. 생성기 에이전트가 초안을 작성합니다.

1. 평가자 에이전트는 적용 범위, 어조 및 법적 정확성을 확인합니다.

1. 응답이 부적절한 경우 피드백 루프가 수렴될 때까지 수정되고 다시 제출됩니다.

이를 통해 인적 입력 없이 자체 평가, 반복적 구체화 및 적응형 출력 제어가 가능합니다.

다음 다이어그램은 피드백 제어 루프(평가자)의 예입니다.

![\[피드백 제어 루프(평가자).\]](http://docs.aws.amazon.com/ko_kr/prescriptive-guidance/latest/agentic-ai-patterns/images/workflow-patterns-evaluator.png)


1. 사용자가 작업을 실행합니다(예: 비즈니스 전략 초안 작성).

1. Amazon Bedrock 에이전트는 LLM을 사용하여 초기 초안을 생성합니다.

1. 두 번째 에이전트(또는 후속 프롬프트)는 구조화된 평가를 수행합니다(예: "명확성, 완전성 및 어조로이 출력 평가").

1. 등급이 임계값 아래로 떨어지면 다음과 같이 응답이 수정됩니다.
   + 임베디드 비평으로 생성기 다시 호출
   + 특수 정련소 에이전트에게 피드백 전송
   + 허용 가능한 응답에 도달할 때까지 반복

 AWS Lambda 컨트롤러 또는와 같은 선택적 구성 요소는 피드백 임계값, 재시도 및 대체 전략을 관리할 AWS Step Functions 수 있습니다.

## 요점
<a name="takeaways-evaluator"></a>

기존 피드백 제어 루프가 이벤트, 지표 및 수정 로직을 사용하여 시스템 동작을 검증하고 조정하는 경우 에이전트성 평가자 루프는 추론 에이전트를 사용하여 출력을 동적으로 평가, 반영 및 수정합니다.

두 패러다임 모두에서:
+ 출력은 생성된 후 평가됩니다.
+ 피드백을 기반으로 수정 또는 개선 작업이 트리거됩니다.
+ 시스템이 대상 품질 또는 목표에 지속적으로 적응함

에이전트 버전은 정적 검증을 의미론적 반영으로 변환하여 자체 효과를 평가하는 자체 개선 에이전트를 지원합니다.