Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Valutatori
I valutatori sono i componenti principali che valutano le prestazioni del tuo agente su diverse dimensioni. Analizzano le tracce degli agenti e forniscono punteggi quantitativi in base a criteri specifici come l'utilità, l'accuratezza o metriche aziendali personalizzate. AgentCore Evaluations offre valutatori integrati per casi d'uso comuni e valutatori di terze parti provenienti da librerie di valutazione open source. Puoi anche creare valutatori personalizzati su misura per le tue esigenze specifiche.
Built-in valutatori
Built-in i valutatori sono soluzioni preconfigurate che utilizzano Large Language Models (LLM) come giudici per valutare le prestazioni degli agenti. Questi valutatori sono dotati di configurazioni predefinite, tra cui modelli di prompt predisposti con cura, modelli di valutazione selezionati e criteri di punteggio standardizzati.
Built-in i valutatori sono progettati per soddisfare le esigenze di valutazione comuni garantendo al contempo coerenza e affidabilità tra le valutazioni. Poiché fanno parte della nostra offerta completamente gestita, puoi utilizzarli immediatamente senza alcuna configurazione aggiuntiva e continueremo a migliorarne la qualità e ad aggiungere nuovi valutatori nel tempo. Per preservare la coerenza e l'affidabilità, le configurazioni dei valutatori integrati non possono essere modificate.
Third-party valutatori
Third-party i valutatori provengono da librerie open source DeepEval e AutoEval open source. Amazon Bedrock li AgentCore gestisce allo stesso modo dei valutatori integrati. Seleziona un valutatore di terze parti per ID e il servizio lo esegue, non è richiesto alcun modello o configurazione. Puoi anche derivare un valutatore personalizzato da un valutatore integrato o di terze parti per eseguirne la logica sul tuo modello. Per ulteriori informazioni, consulta Valutatori. Third-party
Valutatori personalizzati
I valutatori personalizzati offrono maggiore flessibilità in quanto consentono di definire tutti gli aspetti del processo di valutazione. AgentCore Evaluations supporta i seguenti tipi di valutatori personalizzati:
-
LLM-as-a-judge valutatori: definisci il tuo modello di valutazione, le istruzioni di valutazione e gli schemi di punteggio. È possibile personalizzare la valutazione in base alle proprie esigenze specifiche selezionando il modello di valutazione, creando istruzioni di valutazione personalizzate, definendo criteri di valutazione specifici e progettando il proprio schema di punteggio. Per ulteriori informazioni, consulta Valutatori personalizzati. Valutatori personalizzati
-
Code-based valutatori: utilizzate la vostra funzione AWS Lambda per valutare programmaticamente le prestazioni degli agenti. Questo approccio offre il pieno controllo sulla logica di valutazione, consentendo controlli deterministici, chiamate API esterne, corrispondenza delle espressioni regolari, metriche personalizzate o qualsiasi regola specifica aziendale senza affidarsi a un giudice LLM. Per ulteriori informazioni, consulta Valutatore basato su codice personalizzato. Valutatore personalizzato basato su codice
-
Valutatori derivati da un valutatore di base: esegui una logica di valutazione integrata o di terze parti esistente sul tuo modello e sulla tua inferenza, anziché sul modello scelto dal servizio. Per ulteriori informazioni, consultate Valutatori. Third-party
Questo livello di personalizzazione è particolarmente utile quando è necessario valutare agenti specifici del dominio, applicare standard di qualità unici o implementare sistemi di punteggio specializzati. Ad esempio, potresti creare criteri di valutazione personalizzati per settori specifici come l'assistenza sanitaria o la finanza o progettare schemi di punteggio in linea con le metriche di qualità della tua organizzazione.
