Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Dettagli dell'agente - Valutazioni

Evaluations fornisce metriche di monitoraggio continuo della qualità per i tuoi agenti di intelligenza artificiale. Puoi utilizzare le informazioni fornite dalla dashboard per valutare le prestazioni, la qualità e l'affidabilità dei tuoi agenti di intelligenza artificiale.

Invece di affidarsi a casi di test simulati, le valutazioni acquisiscono sessioni utente reali e interazioni con gli agenti, fornendo una visione completa delle prestazioni degli agenti, dall'input all'output finale. Con le valutazioni degli agenti, puoi definire regole di campionamento per valutare solo una percentuale delle sessioni o delle tracce e quindi applicare una serie di valutatori per valutare e valutare le prestazioni operative di un agente di intelligenza artificiale. Le valutazioni e i punteggi risultanti vengono visualizzati nella dashboard delle valutazioni, che consente di monitorare le tendenze, identificare potenziali problemi di qualità, impostare allarmi e indagare e diagnosticare potenziali problemi.

Il pannello di controllo delle valutazioni elenca tutte le valutazioni che sono state abilitate e configurate per l'agente selezionato. Per ulteriori informazioni sulla configurazione delle valutazioni per un agente, vedere Valutazioni. AgentCore È possibile espandere ogni valutazione per visualizzare le sessioni, le tracce e gli intervalli valutati.

Dettagli delle valutazioni

Per ogni valutazione, la dashboard include le seguenti sezioni:

Evaluation configuration metrics

Fornisce le metriche per la configurazione complessiva della valutazione. Un valutatore definisce come valutare un aspetto specifico delle prestazioni di un agente di intelligenza artificiale. Per visualizzare maggiori dettagli su un valutatore, scegli il suo nome nella colonna Valutatore. Per visualizzare un grafico a barre e analizzare le tendenze per un valutatore, scegliete il valore nella colonna Conteggio.

Session evaluations

Fornisce risultati di valutazione per i valutatori a livello di sessione. Una sessione rappresenta un raggruppamento logico di interazioni correlate da un singolo utente o flusso di lavoro. Una sessione può contenere una o più tracce. Puoi scegliere una sessione per filtrare fino all'elenco delle tracce all'interno di quella sessione nella sezione Valutazioni delle tracce.

Trace evaluations

Fornisce risultati di valutazione per i valutatori a livello di traccia. Una traccia è una registrazione completa dell'esecuzione o della richiesta di un singolo agente. Una traccia può contenere uno o più intervalli. Scegliete una traccia per visualizzarne i dettagli insieme a tutti i valutatori eseguiti su quella traccia.

Span evaluations

Fornisce risultati di valutazione per i valutatori a livello di intervallo. Un intervallo rappresenta le singole operazioni eseguite durante tale esecuzione. Scegliete un intervallo per visualizzare i dettagli dell'intervallo insieme a tutte le operazioni eseguite durante tale intervallo.

Grafici delle valutazioni

La dashboard delle valutazioni include anche un grafico a barre per ogni valutatore. I grafici mostrano le tendenze di ciascun valutatore nel tempo e consentono di impostare allarmi per valori metrici specifici. Per impostare un allarme, fai clic su una barra nel grafico, quindi scegli l'icona Allarme (campana). Per ulteriori informazioni, consulta Utilizzo degli CloudWatch allarmi Amazon.

Lavora con i risultati della valutazione

Se hai bisogno di accedere direttamente ai dati dei risultati della valutazione o se desideri creare visualizzazioni personalizzate o lavorare all'esterno della console di AgentCore valutazione, puoi accedere ai risultati della valutazione direttamente tramite CloudWatch registri, CloudWatch metriche e dashboard. CloudWatch

Accesso ai risultati della valutazione nei registri CloudWatch

I risultati della valutazione vengono pubblicati automaticamente in CloudWatch Logs in Embedded Metric Format (EMF).

Per ulteriori informazioni sull'utilizzo dei gruppi di log e sull'interrogazione dei dati di registro, vedere Lavorare con i gruppi di log e i flussi di log e analizzare i dati di log con CloudWatch Logs Insights.

Accesso alle metriche di valutazione in Metrics CloudWatch

Le metriche dei risultati della valutazione vengono estratte automaticamente dai log EMF (Embedded Metric Format) e pubblicate in Metrics. CloudWatch

Per ulteriori informazioni sulla visualizzazione e l'utilizzo delle metriche, consulta Utilizzo delle CloudWatch metriche e dei grafici.

Creazione di dashboard personalizzate

Puoi creare dashboard personalizzate per visualizzare le metriche di valutazione insieme ad altre metriche operative.

Per istruzioni dettagliate, consulta Creazione e utilizzo di dashboard personalizzate e utilizzo delle dashboard. CloudWatch

Impostazione di allarmi sulle metriche di valutazione

Puoi impostare allarmi per notificarti quando le metriche di valutazione superano le soglie specificate, ad esempio quando la correttezza scende al di sotto dei livelli accettabili.

Per istruzioni dettagliate, consulta Utilizzo degli CloudWatch allarmi e Creazione di un CloudWatch allarme basato su una soglia statica.

Risorse aggiuntive