Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Evaluator Reflect-Refine Loop Patterns
Attività come la generazione di codice, il riepilogo o il processo decisionale autonomo traggono grandi vantaggi dal feedback in fase di esecuzione, che consente al sistema di evolversi attraverso l'osservazione e il perfezionamento. Per renderlo operativo, il ciclo reflect-refine può essere implementato come un circuito di controllo del feedback basato sugli eventi, un modello ispirato all'ingegneria dei sistemi, adattato per flussi di lavoro autonomi e intelligenti.
Il diagramma seguente è un esempio di ciclo di feedback reflect-refine di Evaluator:
Circuito di controllo del feedback
Un circuito di controllo del feedback è uno schema che monitora i propri output e comportamenti, li valuta in base a criteri definiti o allo stato desiderato e quindi regola le proprie azioni di conseguenza. Questa architettura si ispira alla teoria del controllo ed è fondamentale in domini come le pipeline di automazione, integrazione continua e distribuzione continua (CI/CD) e le operazioni di apprendimento automatico.
Il diagramma seguente è un esempio di circuito di controllo del feedback:
-
Una pipeline di distribuzione emette un evento BuildComplete.
-
L'evento attiva un processo di test o valutazione automatizzato che convalida la build.
-
Se la convalida fallisce (ad esempio, a causa di test non riusciti, problemi di sicurezza o violazione delle politiche), il sistema:
-
Emette un evento BuildComplete
-
Registra il problema o invia una notifica
-
Attiva un'azione riparativa o correttiva, ad esempio il rollback, l'applicazione di una patch o un nuovo tentativo
-
Il ciclo continua finché non produce un risultato o un'escalation accettabile o fino a quando non si verifica un timeout. Questo modello viene comunemente utilizzato per quanto segue:
-
EventBridge Regole di Amazon per indirizzare gli eventi alle attività di valutazione o riparazione
-
AWS Step Functions per una logica di ripetizione iterativa e una ramificazione dei risultati della valutazione
-
Amazon Simple Notification Service (Amazon SNS) o allarmi Amazon per i trigger di CloudWatch feedback e gli avvisi
-
AWS Lambda funzioni o lavoratori containerizzati per applicare azioni correttive
Circuito di controllo del feedback (valutatore)
Il flusso di lavoro di un valutatore è un ciclo di feedback cognitivo alimentato dai nostri agenti di LLMs ragionamento. Il processo è costituito dai seguenti elementi:
-
Un agente generatore o LLM produce un output (ad esempio, un piano, una risposta o una bozza).
-
Un agente valutatore esamina il risultato utilizzando un prompt di critica o una rubrica di valutazione.
-
In base al feedback, l'agente originale o un nuovo agente di ottimizzazione rivede l'output.
Il ciclo si ripete finché il risultato non soddisfa una serie di criteri, non viene approvato o raggiunge un limite di tentativi.
Valutatore
-
Un utente chiede a un agente di scrivere un riepilogo delle politiche.
-
L'agente generatore lo redige.
-
Un agente valutatore verifica la copertura, il tono e la correttezza legale.
-
Se la risposta è inadeguata, viene perfezionata e inviata nuovamente fino alla convergenza del ciclo di feedback.
Ciò consente l'autovalutazione, il perfezionamento iterativo e il controllo adattivo dell'output, il tutto senza l'intervento umano.
Il diagramma seguente è un esempio di circuito di controllo del feedback (valutatore):
-
Un utente esegue un'attività (ad esempio, redigere una strategia aziendale).
-
Un agente Amazon Bedrock genera una bozza iniziale utilizzando un LLM.
-
Un secondo agente (o un prompt di follow-up) esegue una valutazione strutturata (ad esempio, «valuta questo risultato in base a chiarezza, completezza e tono»).
-
Se la valutazione scende al di sotto di una soglia, la risposta viene modificata da:
-
Reinvocare il generatore con una critica incorporata
-
Invio del feedback a un agente di raffinazione specializzato
-
Iterazione fino al raggiungimento di una risposta accettabile
-
Componenti opzionali come AWS Lambda i controller AWS Step Functions possono gestire soglie di feedback, nuovi tentativi e strategie di fallback.
Cose da asporto
Laddove i tradizionali circuiti di controllo del feedback utilizzano eventi, metriche e logica di correzione per convalidare e regolare il comportamento del sistema, i loop di valutazione agentica utilizzano agenti di ragionamento per valutare, riflettere e rivedere l'output in modo dinamico.
In entrambi i paradigmi:
-
L'output viene valutato dopo essere stato generato
-
Le azioni correttive o di perfezionamento vengono attivate in base al feedback
-
Il sistema si adatta continuamente alla qualità o all'obiettivo prefissato
La versione agentica trasforma la convalida statica in riflessione semantica, permettendo agli agenti di automiglioramento di valutare la propria efficacia.
