As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
O avaliador reflete e refina os padrões de loop
Tarefas como geração de código, resumo ou tomada de decisão autônoma se beneficiam muito do feedback de tempo de execução, permitindo que o sistema evolua por meio de observação e refinamento. Para operacionalizar isso, o ciclo reflect-refine pode ser implementado como um circuito de controle de feedback orientado por eventos — um padrão inspirado na engenharia de sistemas, adaptado para fluxos de trabalho autônomos e inteligentes.
O diagrama a seguir é um exemplo de um ciclo de feedback de reflexão e refinamento do avaliador:
Circuito de controle de feedback
Um loop de controle de feedback é um padrão que monitora suas próprias saídas e comportamentos, os avalia em relação a critérios definidos ou a um estado desejado e, em seguida, ajusta suas ações de acordo. Essa arquitetura é inspirada na teoria de controle e é fundamental em domínios como automação, pipelines de integração e entrega contínuas (CI/CD) e operações de aprendizado de máquina.
O diagrama a seguir é um exemplo de um circuito de controle de feedback:
-
Um pipeline de implantação emite um evento BuildComplete.
-
O evento aciona um teste automatizado ou um trabalho de avaliação que valida a compilação.
-
Se a validação falhar (por exemplo, devido a falhas nos testes, problemas de segurança ou violação da política), o sistema:
-
Emite um evento BuildComplete
-
Registra o problema ou envia uma notificação
-
Aciona uma ação corretiva ou de remediação, como reversão, aplicação de patches ou nova tentativa
-
O ciclo continua até produzir um resultado ou escalonamento aceitável, ou até que ocorra um tempo limite. Esse padrão é comumente usado para o seguinte:
-
EventBridge Regras da Amazon para encaminhar eventos para tarefas de avaliação ou remediação
-
AWS Step Functions para lógica de repetição iterativa e ramificação dos resultados da avaliação
-
Amazon Simple Notification Service (Amazon SNS) ou alarmes da Amazon para CloudWatch acionadores e alertas de feedback
-
AWS Lambda funções ou trabalhadores em contêineres para aplicar ações corretivas
Circuito de controle de feedback (avaliador)
O fluxo de trabalho do avaliador é um ciclo de feedback cognitivo desenvolvido por nossos agentes LLMs de raciocínio. O processo consiste no seguinte:
-
Um agente gerador ou LLM produz uma saída (por exemplo, um plano, uma resposta ou um rascunho).
-
Um agente avaliador analisa o resultado usando um aviso de crítica ou uma rubrica de avaliação.
-
Com base no feedback, o agente original ou um novo agente otimizador revisa a saída.
O loop se repete até que o resultado atenda a um conjunto de critérios, seja aprovado ou atinja um limite de repetição.
Avaliador
-
Um usuário pede que um agente escreva um resumo da política.
-
O agente gerador o elabora.
-
Um agente avaliador verifica a cobertura, o tom e a correção legal.
-
Se a resposta for inadequada, ela será refinada e reenviada até que o ciclo de feedback converja.
Isso permite a autoavaliação, o refinamento iterativo e o controle de saída adaptativo, tudo sem a intervenção humana.
O diagrama a seguir é um exemplo de um circuito de controle de feedback (avaliador):
-
Um usuário emite uma tarefa (por exemplo, elabore uma estratégia de negócios).
-
Um agente do Amazon Bedrock gera um rascunho inicial usando um LLM.
-
Um segundo agente (ou uma solicitação de acompanhamento) realiza uma avaliação estruturada (por exemplo, “classifique essa saída por clareza, integridade e tom”).
-
Se a classificação cair abaixo de um limite, a resposta será revisada por:
-
Reinvocando o gerador com uma crítica incorporada
-
Enviando o feedback para um agente refinador especializado
-
Iterando até que uma resposta aceitável seja alcançada
-
Componentes opcionais, como AWS Lambda controladores, AWS Step Functions podem gerenciar limites de feedback, novas tentativas e estratégias alternativas.
Takeaways
Enquanto os ciclos tradicionais de controle de feedback usam eventos, métricas e lógica de remediação para validar e ajustar o comportamento do sistema, os loops avaliadores agentes usam agentes de raciocínio para avaliar, refletir e revisar a saída dinamicamente.
Em ambos os paradigmas:
-
A saída é avaliada após ser gerada
-
Ações corretivas ou de refinamento são acionadas com base no feedback
-
O sistema se adapta continuamente a uma meta ou qualidade alvo
A versão agente transforma a validação estática em reflexão semântica, permitindo que agentes de autoaperfeiçoamento avaliem sua própria eficácia.
