Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Dashboard delle prestazioni di AI Agent
Puoi utilizzare la dashboard delle prestazioni di AI Agent per visualizzare le prestazioni degli agenti AI e ottenere informazioni dettagliate su tutti gli agenti AI e nel tempo.
La dashboard offre un unico posto per visualizzare le prestazioni aggregate di AI Agent. Utilizza la dashboard per visualizzare le metriche degli agenti AI, come il numero di chiamate, la latenza e la percentuale di successo.
Indice
Abilitare l’accesso alla dashboard
Assicurati che agli utenti vengano assegnate le autorizzazioni del profilo di sicurezza appropriate:
Autorizzazione Parametri di accesso - Accesso o autorizzazione Dashboard - Accesso. Per ulteriori informazioni sulla differenza nel comportamento, consulta Assegnare autorizzazioni per visualizzare dashboard e report in Amazon Connect.
È necessaria almeno una delle seguenti autorizzazioni del profilo di sicurezza per accedere alla dashboard di AI Agent Performance:
-
AI agent designer: autorizzazione alla visualizzazione dell'agente AI
-
AI agent designer: autorizzazione alla visualizzazione dei prompt AI
-
AI agent designer - Autorizzazione alla visualizzazione dei guardrail AI
-
Applicazioni Agent - Autorizzazione di visualizzazione dell'assistente Connect
La dashboard è disponibile all'indirizzo: Analisi e ottimizzazione > Dashboard di analisi > AI Agent Performance.
Specificare “Intervallo di tempo” e il riferimento “Confronta con”
Utilizza il filtro Intervallo di tempo per specificare la data e il periodo di tempo per cui desideri visualizzare i dati nella dashboard.
Per impostazione predefinita, la dashboard mostra i dati dell'ultima settimana. Puoi personalizzare l'intervallo di tempo per visualizzare i dati più recenti degli ultimi 15 minuti o risalire alla cronologia fino a 3 mesi.
Utilizza il filtro Confronta con per selezionare un periodo di tempo con cui confrontare i dati correnti. Ciò consente di identificare le tendenze e tenere traccia dei miglioramenti o dei problemi nel tempo.
Riepilogo delle prestazioni dell'IA self-service
Questa sezione mostra lo stato delle interazioni self-service avviate da un agente AI. Visualizza le seguenti metriche chiave per il periodo di tempo selezionato, filtrate per caso d'uso «Self service»:
-
Contatti coinvolti nell'intelligenza artificiale:
Numero totale di contatti gestiti laddove gli agenti di intelligenza artificiale hanno risolto le richieste dei clienti senza coinvolgere agenti umani.
-
Agenti AI attivi:
Il numero totale di agenti AI unici, in cui ogni agente è identificato dalla sua combinazione unica di nome e versione.
-
Percentuale di completamento della risposta:
La percentuale di sessioni di agenti AI che hanno risposto con successo alle richieste in arrivo.
-
Tasso di consegna:
Percentuale di contatti self-service gestiti da agenti di intelligenza artificiale contrassegnata come necessaria assistenza aggiuntiva, inclusi, a titolo esemplificativo ma non esaustivo, agenti umani.
-
Percentuale di successo degli obiettivi:
La percentuale di sessioni in cui gli agenti di intelligenza artificiale hanno risolto con successo i problemi dei clienti. Il valore è compreso tra 0 e 1, dove 1 indica la risoluzione riuscita in tutte le sessioni.
-
Punteggio di fedeltà:
La percentuale di risposte degli agenti di intelligenza artificiale che rimangono fedeli al contesto della conversazione, inclusi i messaggi e i risultati delle chiamate agli strumenti. Il valore è compreso tra 0 e 1, dove 1 indica la perfetta fedeltà contestuale.
L'immagine seguente mostra un esempio di grafico riassuntivo delle prestazioni dell'IA self-service.
Assistenza agli agenti: riepilogo delle prestazioni dell'IA
Questo widget mostra lo stato di salute delle interazioni assistite da agenti in cui l'intelligenza artificiale fornisce supporto agli agenti umani. Visualizza le seguenti metriche chiave per il periodo di tempo selezionato, filtrate per caso d'uso «Agent Assistance».
-
Contatti coinvolti nell'intelligenza artificiale:
Numero totale di contatti in cui AI Agents hanno assistito agenti umani nella risoluzione delle richieste dei clienti.
-
Agenti AI attivi:
Il numero totale di agenti AI unici, in cui ogni agente è identificato dalla sua combinazione unica di nome e versione.
-
Percentuale di completamento della risposta:
La percentuale di sessioni di agenti AI che hanno risposto con successo alle richieste in arrivo.
-
Tasso di coinvolgimento degli intenti proattivi:
Percentuale di intenti proattivi rilevati su cui hanno fatto clic gli agenti umani.
-
Punteggio di fedeltà:
La percentuale di risposte degli agenti di intelligenza artificiale che rimangono fedeli al contesto della conversazione, inclusi i messaggi e i risultati delle chiamate agli strumenti. Il valore è compreso tra 0 e 1, dove 1 indica la perfetta fedeltà contestuale.
L'immagine seguente mostra un esempio di grafico riassuntivo delle prestazioni AI di Agent Assistance.
Le prestazioni degli agenti di intelligenza artificiale
Questa tabella fornisce una panoramica dettagliata delle prestazioni degli agenti AI dal caso d'uso alle versioni dei singoli agenti e alle relative metriche prestazionali chiave.
La tabella mostra le metriche delle prestazioni a due livelli:
-
A livello di caso d'uso dell'IA:
Metriche aggregate per tutte le versioni degli agenti all'interno di un caso d'uso (self-service per i clienti finali, assistenza agli agenti).
-
Livello di versione dell'agente AI:
Metriche prestazionali individuali per ogni versione dell'agente.
Puoi espandere o comprimere le righe dei casi d'uso per approfondire le versioni specifiche degli agenti. Per vedere come ogni versione contribuisce alle prestazioni complessive dello use case, visualizza le singole metriche per ogni riga della versione dell'agente.
Metriche visualizzate:
-
Numero di chiamate agli agenti AI:
Numero totale di volte in cui è stata richiamata la versione dell'agente AI.
-
Percentuale di successo della chiamata dell'agente AI:
Percentuale di chiamate agli agenti AI eseguite con successo.
-
Avg. La conversazione tra agenti di intelligenza artificiale si trasforma in:
Numero medio di turni di conversazione utilizzati dall'agente di intelligenza artificiale per raggiungere un risultato.
-
Risposta utile:
Il numero di suggerimenti di intelligenza artificiale giudicati utili con il pollice in su.
-
Risposta inutile:
Numero di suggerimenti di intelligenza artificiale giudicati inutili con un pollice rivolto verso il basso.
-
Precisione di utilizzo dell'utensile:
Il tasso di corretto utilizzo degli strumenti da parte dell'agente AI. Il valore è compreso tra 0 e 1, dove 1 indica un utilizzo perfetto.
-
Precisione di selezione degli utensili:
La frequenza di selezione corretta degli strumenti da parte degli agenti AI. Il valore è compreso tra 0 e 1, dove 1 indica una selezione ottimale.
-
Precisione dei parametri dell'utensile:
La frequenza di invocazioni degli strumenti in cui gli agenti AI hanno fornito i parametri corretti. Il valore è compreso tra 0 e 1, dove 1 indica una perfetta precisione dei parametri.
L'immagine seguente mostra un esempio di tabella delle prestazioni degli agenti AI.
Percentuale di successo degli agenti AI per invocazione
Il grafico del tasso di successo degli agenti AI per invocazione mostra la percentuale di successo delle chiamate per ciascun agente AI. Puoi configurare ulteriormente questo widget filtrando per agenti AI specifici, tipo di agente AI, caso d'uso dell'IA o altre dimensioni direttamente da questo grafico.
L'immagine seguente mostra un esempio di grafico del tasso di successo degli agenti AI per invocazione.
Utilizzo della Knowledge Base
Questa tabella fornisce una visualizzazione dettagliata degli articoli della knowledge base a cui fanno riferimento gli agenti di intelligenza artificiale. È possibile espandere l'elenco in base al tipo di agente AI e alle righe degli agenti AI per visualizzare in dettaglio il nome specifico della knowledge base per vedere quante volte gli agenti di intelligenza artificiale hanno fatto riferimento a una knowledge base.
Metriche visualizzate:
-
Numero di riferimenti: numero di volte in cui l'articolo è stato referenziato dagli agenti di intelligenza artificiale.
L'immagine seguente mostra un esempio di tabella di utilizzo della Knowledge base.
Andamento delle prestazioni degli agenti AI
L'andamento delle prestazioni degli agenti AI è un grafico di serie temporali che mostra la percentuale di successo delle chiamate degli agenti AI (barre blu), il punteggio di fedeltà (linea rossa) e la precisione di utilizzo degli strumenti (linea verde) in un determinato periodo di tempo suddivisi per intervalli (15 minuti, giornaliero, settimanale, mensile). È possibile configurare intervalli di tempo diversi utilizzando il pulsante “Intervallo” direttamente nel widget. Gli intervalli che puoi selezionare dipendono dal filtro dell'intervallo temporale a livello di pagina.
Esempio:
-
Se hai un filtro per intervallo di tempo “Oggi” nella parte superiore della dashboard, puoi visualizzare solo un intervallo di 15 minuti nelle ultime 24 ore.
-
Se hai un filtro per intervallo di tempo “Giorno” nella parte superiore della dashboard, puoi visualizzare una tendenza rispetto agli ultimi 8 intervalli giornalieri o una tendenza rispetto a intervalli di 15 minuti per le ultime 24 ore.
-
Se hai un filtro per intervallo di tempo «settimanale» nella parte superiore della dashboard, puoi visualizzare le tendenze degli intervalli giornalieri o settimanali.
-
Se hai un filtro per intervallo di tempo «Mese» nella parte superiore della dashboard, puoi visualizzare le tendenze degli intervalli giornalieri o mensili.
L'immagine seguente mostra un esempio di grafico delle tendenze delle prestazioni degli agenti AI.
Utilizzo degli strumenti di intelligenza artificiale
Questa tabella confronta le implementazioni degli strumenti (ad esempio, MCP - Model Context Protocol Return-to-Control) sulle chiamate, sulla latenza media e sul tasso di successo delle invocazioni e sulla precisione dell'utilizzo degli strumenti.
Ad esempio, puoi selezionare un tipo di agente AI (come Orchestration o Answer Recommendation) e visualizzare le prestazioni dei diversi strumenti e delle relative versioni all'interno di quel tipo di agente. È possibile identificare quali versioni dello strumento necessitano di ottimizzazione ordinando le colonne utilizzando il conteggio delle chiamate degli strumenti di intelligenza artificiale, la percentuale di successo delle chiamate degli strumenti di intelligenza artificiale o la media. Latenza di invocazione dello strumento AI.
La tabella mostra le metriche delle prestazioni a tre livelli:
-
Livello di tipo di agente AI:
Metriche aggregate per tutti gli strumenti e le versioni all'interno di un tipo di agente.
-
Livello di tipo di strumento AI:
Metriche aggregate per tutte le versioni di un tipo di strumento specifico.
-
Strumento di intelligenza artificiale:
Metriche di performance individuali per ogni versione dello strumento.
Puoi espandere o comprimere le righe relative al tipo di agente AI e al tipo di strumento per visualizzare versioni specifiche dello strumento. Per vedere come ogni versione contribuisce alle prestazioni complessive del tipo di strumento, visualizza le metriche individuali per ogni riga della versione dello strumento.
Metriche visualizzate:
-
Numero di invocazioni dello strumento di intelligenza artificiale:
Numero totale di volte in cui è stata richiamata la versione dello strumento di intelligenza artificiale.
-
Avg. Latenza di invocazione dello strumento AI:
Latenza di invocazione media in millisecondi per la versione dello strumento.
-
Percentuale di successo dell'invocazione dello strumento AI:
Percentuale di invocazioni di strumenti di intelligenza artificiale eseguite con successo.
-
Precisione di utilizzo dello strumento:
Il tasso di corretto utilizzo degli strumenti da parte dell'agente AI. Il valore è compreso tra 0 e 1, dove 1 indica un utilizzo perfetto.
-
Precisione di selezione degli utensili:
La frequenza di selezione corretta degli strumenti da parte degli agenti AI. Il valore è compreso tra 0 e 1, dove 1 indica una selezione ottimale.
-
Precisione dei parametri dell'utensile:
La frequenza di invocazioni degli strumenti in cui gli agenti AI hanno fornito i parametri corretti. Il valore è compreso tra 0 e 1, dove 1 indica una perfetta precisione dei parametri.
L'immagine seguente mostra un esempio di tabella di utilizzo degli strumenti AI.
Prestazioni rapide dell'IA
Questa tabella fornisce una panoramica dettagliata delle prestazioni dei prompt AI. È possibile espandere le righe relative al tipo di agente AI e al tipo di prompt per visualizzare in dettaglio versioni di prompt specifiche. Per vedere come ogni versione contribuisce alle prestazioni complessive del tipo di prompt, visualizza le singole metriche per ogni riga della versione del prompt.
La tabella mostra le metriche delle prestazioni a tre livelli:
-
Livello di tipo di agente AI:
Metriche aggregate su tutti i prompt e le versioni per un tipo di agente AI.
-
Livello di tipo di prompt AI:
Metriche aggregate per tutte le versioni di uno specifico tipo di prompt AI.
-
Livello di versione del prompt AI:
Metriche delle prestazioni individuali per ogni versione del prompt AI.
Metriche visualizzate:
-
Numero di chiamate ai prompt AI:
Numero totale di volte in cui è stata richiamata la versione del prompt AI.
-
Percentuale di successo dell'invocazione del prompt AI:
Percentuale di chiamate ai prompt AI eseguite con successo.
-
Media. Latenza di chiamata rapida AI:
Latenza media di invocazione in millisecondi per la versione AI prompt.
Oltre a utilizzare i filtri di pagina, puoi aggiungere filtri alla tabella per agenti AI specifici, prompt AI, intervalli di tempo o altre dimensioni.
L'immagine seguente mostra un esempio di tabella delle prestazioni dei prompt AI.
Tendenza degli intenti proattivi
Il grafico di tendenza degli intenti proattivi mostra gli intenti proattivi rilevati (barre blu), rispetto al tasso di coinvolgimento degli intenti proattivi (linea rossa) e al tasso di risposta agli intenti proattivi (linea verde) in un determinato periodo di tempo suddiviso per intervalli (15 minuti, giornalieri, settimanali, mensili). È possibile configurare intervalli di tempo diversi utilizzando il pulsante “Intervallo” direttamente nel widget. Gli intervalli che puoi selezionare dipendono dal filtro dell'intervallo temporale a livello di pagina.
Metriche visualizzate:
-
Intenti proattivi rilevati:
Il numero di intenti proattivi (richieste dei clienti) rilevati durante le sessioni di intelligenza artificiale, per i casi d'uso di Agent Assistance.
-
Tasso di coinvolgimento degli intenti proattivi:
La percentuale di intenti proattivi rilevati su cui hanno fatto clic o interagito agenti umani, per i casi d'uso di Agent Assistance.
-
Percentuale di risposta proattiva agli intenti:
La percentuale di intenti proattivi coinvolti che sono stati soddisfatti con successo dagli agenti AI, per i casi d'uso di Agent Assistance.
L'immagine seguente mostra un esempio di grafico di tendenza degli intenti proattivi.
Richieste di intelligenza artificiale in base alla latenza di invocazione
Il grafico dei prompt AI per latenza di invocazione mostra la latenza media di chiamata in millisecondi per ogni prompt AI. Puoi configurare ulteriormente questo widget filtrando per prompt AI specifici, tipo di prompt AI, agente AI, tipo di agente AI, caso d'uso AI o altre dimensioni direttamente da questo grafico.
L'immagine seguente mostra un esempio di diagramma di latenza di invocazione basato sui prompt AI.
L'IA richiede in base alla percentuale di successo dell'invocazione
Il grafico del tasso di successo delle chiamate AI mostra la percentuale di successo dell'invocazione per ogni prompt AI. Puoi configurare ulteriormente questo widget filtrando per prompt AI specifici, tipo di prompt AI, agente AI, tipo di agente AI, caso d'uso dell'IA o altre dimensioni direttamente da questo grafico.
L'immagine seguente mostra un esempio di grafico del tasso di successo dei prompt AI per invocazione.
