Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Metriche degli agenti AI
Le seguenti metriche sono disponibili per il monitoraggio delle prestazioni degli agenti AI. Per informazioni sulla creazione di agenti AI, consulta Creare agenti AI. Per informazioni sulla creazione di prompt AI, consulta Creare prompt AI. Per informazioni sugli strumenti MCP degli agenti AI, consulta. Strumenti MCP per agenti AI
Indice
Agenti AI attivi
Questa metrica misura il numero totale di agenti AI unici, in cui ogni agente AI è identificato dalla sua combinazione unica di nome e versione.
-
Tipo di metrica: numero intero
-
Categoria metrica: AI Agent
-
GetMetricDataV2 Identificatore metrico API:
ACTIVE_AI_AGENTS -
Posizione del dashboard: AI Agent Performance Dashboard, Active AI Agents
Richiamazioni agli agenti AI
Questa metrica misura il numero totale di chiamate di AI Agent su tutti gli agenti AI per istanza.
-
Tipo di metrica: numero intero
-
Categoria metrica: AI Agent
-
GetMetricDataV2 Identificatore metrico API:
AI_AGENT_INVOCATIONS -
Posizione del dashboard: AI Agent Performance Dashboard, AI Agent Invocation Count
Richiamata dell'agente AI riuscita
Questa metrica misura il numero di chiamate di AI Agent eseguite con successo senza errori tecnici come errori delle API, timeout o problemi di sistema.
-
Tipo di metrica: numero intero
-
Categoria metrica: AI Agent
-
GetMetricDataV2 Identificatore metrico API:
AI_AGENT_INVOCATION_SUCCESS
Percentuale di successo delle chiamate agli agenti AI
Questa metrica misura la percentuale di chiamate di AI Agent eseguite con successo senza guasti tecnici.
-
Tipo di metrica: percentuale
-
Categoria metrica: AI Agent
-
GetMetricDataV2 Identificatore metrico API:
AI_AGENT_INVOCATION_SUCCESS_RATE -
Posizione del dashboard: AI Agent Performance Dashboard, AI Agent Invocation Success Rate
Risposta dell'agente AI utile
Questa metrica misura il numero di suggerimenti di intelligenza artificiale ritenuti utili con un pollice alzato.
-
Tipo di metrica: numero intero
-
Categoria metrica: AI Agent
-
GetMetricDataV2 Identificatore metrico API:
AI_AGENT_RESPONSE_HELPFUL -
Posizione del dashboard: AI Agent Performance Dashboard, AI Agent Response Utile
Nota
Questa metrica viene aggiornata ogni 6 ore. Questa metrica è disponibile come parte di Connect Customer AI.
La risposta dell'agente AI non è utile
Questa metrica misura il numero di suggerimenti di intelligenza artificiale ritenuti inutili con un pollice rivolto verso il basso.
-
Tipo di metrica: numero intero
-
Categoria metrica: AI Agent
-
GetMetricDataV2 Identificatore metrico API:
AI_AGENT_RESPONSE_NOT_HELPFUL -
Posizione del dashboard: AI Agent Performance Dashboard, AI Agent Response non utile
Nota
Questa metrica viene aggiornata ogni 6 ore. Questa metrica è disponibile come parte di Connect Customer AI.
Consegne AI
Questa metrica misura il numero totale di contatti gestiti dagli agenti di intelligenza artificiale che sono passati agli agenti umani. Questa metrica è specificamente applicabile ai casi d'uso self-service in cui gli agenti di intelligenza artificiale gestiscono inizialmente le richieste dei clienti.
-
Tipo di metrica: numero intero
-
Categoria metrica: sessione AI
-
GetMetricDataV2 Identificatore metrico API:
AI_HANDOFFS
Tasso di trasferimento dell'IA
Questa metrica misura la percentuale di contatti gestiti dagli agenti di intelligenza artificiale che sono passati ad agenti umani o a supporto aggiuntivo.
-
Tipo di metrica: percentuale
-
Categoria metrica: sessione AI
-
GetMetricDataV2 Identificatore metrico API:
AI_HANDOFF_RATE -
Posizione del dashboard: AI Agent Performance Dashboard, Handoff Rate
Tasso di completamento della risposta AI
Questa metrica misura la percentuale di sessioni di intelligenza artificiale che hanno risposto con successo alle richieste in arrivo dei clienti.
-
Tipo di metrica: percentuale
-
Categoria metrica: sessione AI
-
GetMetricDataV2 Identificatore metrico API:
AI_RESPONSE_COMPLETION_RATE -
Posizione del dashboard: AI Agent Performance Dashboard, tasso di completamento della risposta
Contatti coinvolti nell'intelligenza artificiale
Questa metrica misura il numero totale di contatti con i clienti in cui sono stati coinvolti agenti AI, fornendo automazione self-service o assistendo gli agenti umani nella risoluzione delle richieste dei clienti.
-
Tipo di metrica: numero intero
-
Categoria metrica: sessione AI
-
GetMetricDataV2 Identificatore metrico API:
AI_INVOLVED_CONTACTS -
Posizione del dashboard: AI Agent Performance Dashboard, AI Involved Contacts
Richiamata rapida AI riuscita
Questa metrica misura il numero di chiamate AI Prompt eseguite correttamente senza errori.
-
Tipo di metrica: numero intero
-
Categoria metrica: AI Prompt
-
GetMetricDataV2 Identificatore metrico API:
AI_PROMPT_INVOCATION_SUCCESS
Percentuale di successo di AI Prompt Invocation
Questa metrica misura la percentuale di chiamate AI Prompt eseguite con successo.
-
Tipo di metrica: percentuale
-
Categoria metrica: AI Prompt
-
GetMetricDataV2 Identificatore metrico API:
AI_PROMPT_INVOCATION_SUCCESS_RATE -
Posizione del dashboard: AI Agent Performance Dashboard, AI Prompt Invocation Success Rate
Invocazioni AI Prompt
Questa metrica misura il numero totale di chiamate AI Prompt.
-
Tipo di metrica: numero intero
-
Categoria metrica: AI Prompt
-
GetMetricDataV2 Identificatore metrico API:
AI_PROMPT_INVOCATIONS -
Posizione del dashboard: AI Agent Performance Dashboard, AI Prompt Invocation Count
Richiamata dello strumento AI avvenuta con successo
Questa metrica misura il numero totale di invocazioni di AI Tool eseguite con successo.
-
Tipo di metrica: numero intero
-
Categoria metrica: AI Tool
-
GetMetricDataV2 Identificatore metrico API:
AI_TOOL_INVOCATION_SUCCESS
Percentuale di successo delle invocazioni degli strumenti AI
Questa metrica misura la percentuale di invocazioni di AI Tool eseguite con successo.
-
Tipo di metrica: percentuale
-
Categoria metrica: AI Tool
-
GetMetricDataV2 Identificatore metrico API:
AI_TOOL_INVOCATION_SUCCESS_RATE -
Posizione del dashboard: AI Agent Performance Dashboard, AI Tool Invocation Success Rate
Richiamazioni agli strumenti AI
Questa metrica misura il numero totale di invocazioni di AI Tool.
-
Tipo di metrica: numero intero
-
Categoria metrica: AI Tool
-
GetMetricDataV2 Identificatore metrico API:
AI_TOOL_INVOCATIONS -
Posizione del dashboard: AI Agent Performance Dashboard, AI Tool Invocation Count
Precisione dei parametri dello strumento AI
Questa metrica misura la frequenza di invocazioni degli strumenti in cui gli agenti AI hanno fornito i parametri corretti. Il valore è compreso tra 0 e 1, dove 1 indica la perfetta precisione dei parametri.
-
Tipo di metrica: Double
-
Categoria metrica: AI Tool
-
GetMetricDataV2 Identificatore metrico API:
AI_TOOL_PARAMETER_ACCURACY -
Posizione del dashboard: AI Agent Performance Dashboard, AI Tool Parameter Precision
Criteri di valutazione:
Questa metrica utilizza una LLM-based valutazione automatica che analizza i parametri passati a ciascuna chiamata allo strumento rispetto al contesto della conversazione e alle definizioni dei parametri dello strumento. Ogni chiamata allo strumento viene valutata come corretta o errata in base ai seguenti criteri:
-
Presenza: tutti i parametri richiesti sono presenti e compilati correttamente?
-
Precisione: i valori dei parametri sono giustificati esplicitamente dal contesto della conversazione, anziché dedotti o presunti?
-
Precisione: sono inclusi parametri aggiuntivi, irrilevanti o inventati?
Nota
Questa metrica viene aggiornata ogni 24 ore. Questa metrica è disponibile come parte di Connect Customer AI.
Precisione della selezione degli strumenti AI
Questa metrica misura il tasso di selezione corretta degli utensili da parte degli agenti AI. Il valore è compreso tra 0 e 1, dove 1 indica una selezione ottimale.
-
Tipo di metrica: Double
-
Categoria metrica: AI Tool
-
GetMetricDataV2 Identificatore metrico API:
AI_TOOL_SELECTION_ACCURACY -
Posizione del dashboard: AI Agent Performance Dashboard, AI Tool Selection Precision
Criteri di valutazione:
Questa metrica utilizza una LLM-based valutazione automatizzata che analizza ogni chiamata allo strumento effettuata dall'agente AI. Ogni chiamata allo strumento viene valutata come corretta o errata in base ai seguenti criteri:
-
Adeguatezza: lo strumento selezionato era quello giusto per soddisfare la richiesta del cliente?
-
Necessità: l'agente AI ha evitato chiamate agli strumenti non necessarie o errate?
-
Selezione ottimale: era disponibile uno strumento più appropriato che l'agente di intelligenza artificiale non aveva trovato?
Nota
Questa metrica viene aggiornata ogni 24 ore. Questa metrica è disponibile come parte di Connect Customer AI.
Precisione nell'utilizzo degli strumenti AI
Questa metrica misura il tasso di utilizzo corretto degli strumenti da parte degli agenti AI, compresi i parametri e la selezione corretti. Il valore è compreso tra 0 e 1, dove 1 indica un utilizzo perfetto.
-
Tipo di metrica: Double
-
Categoria metrica: AI Tool
-
GetMetricDataV2 Identificatore metrico API:
AI_TOOL_UTILIZATION_ACCURACY -
Posizione del dashboard: AI Agent Performance Dashboard, AI Tool Utility Precision
Criteri di valutazione:
Questa metrica è il punteggio combinato di AI Tool Selection Accuracy e AI Tool Parameter Accuracy.
Nota
Questa metrica viene aggiornata ogni 24 ore. Questa metrica è disponibile come parte di Connect Customer AI.
La conversazione media tra agenti di intelligenza artificiale gira
Questa metrica misura il numero medio di turni di conversazione utilizzati dagli agenti di intelligenza artificiale per raggiungere un risultato.
-
Tipo di metrica: Double
-
Categoria metrica: AI Agent
-
GetMetricDataV2 Identificatore metrico API:
AVG_AI_AGENT_CONVERSATION_TURNS -
Posizione del dashboard: AI Agent Performance Dashboard, Avg. La conversazione con gli agenti AI cambia
Turni medi di conversazione con l'IA
Questa metrica misura il numero medio di turni di conversazione tra tutti i contatti coinvolti nell'IA.
-
Tipo di metrica: Double
-
Categoria metrica: sessione AI
-
GetMetricDataV2 Identificatore metrico API:
AVG_AI_CONVERSATION_TURNS -
Posizione del dashboard: AI Agent Performance Dashboard, Avg. La conversazione sull'IA cambia
Latenza media di chiamata al prompt AI
Questa metrica misura la latenza media di invocazione dei prompt AI in millisecondi.
-
Tipo di metrica: Double
-
Categoria metrica: AI Prompt
-
GetMetricDataV2 Identificatore metrico API:
AVG_AI_PROMPT_INVOCATION_LATENCY -
Posizione del dashboard: AI Agent Performance Dashboard, Avg. Latenza di chiamata rapida AI
Latenza media di invocazione dello strumento AI
Questa metrica misura la latenza media di invocazione di AI Tools in millisecondi.
-
Tipo di metrica: Double
-
Categoria metrica: AI Tool
-
GetMetricDataV2 Identificatore metrico API:
AVG_AI_TOOL_INVOCATION_LATENCY -
Posizione del dashboard: AI Agent Performance Dashboard, Avg. Latenza di invocazione dello strumento AI
Punteggio di completezza
Questa metrica misura la percentuale di sessioni in cui le risposte di Orchestration AI Agent rispondono in modo completo a tutte le parti delle richieste dei clienti anziché fornire risposte parziali o incomplete. Il valore è compreso tra 0 e 1, dove 1 indica le risposte complete in tutte le sessioni.
-
Tipo di metrica: Double
-
Categoria metrica: sessione AI
-
GetMetricDataV2 Identificatore metrico API:
COMPLETENESS_SCORE -
Posizione del dashboard: AI Agent Performance Dashboard, Avg. Punteggio di completezza
Criteri di valutazione:
Questa metrica utilizza una LLM-based valutazione automatizzata che analizza il turno di ogni cliente e la risposta dell'agente AI. Quando un messaggio del cliente contiene più richieste o domande, la valutazione verifica se ciascuna di esse è stata risolta. Questa metrica viene valutata utilizzando i seguenti criteri:
-
Multi-request copertura: tutte le richieste esplicite effettuate in un solo turno sono state identificate e soddisfatte dall'agente?
-
Definizione di «coperta»: a ciascuna richiesta è stata data risposta diretta, è stata accettata con l'intenzione di dare seguito o è stata spiegata come impossibile a causa di ciò? policy/constraints
-
Ambito di risposta immediata: vengono valutate solo le risposte dell'agente prima del messaggio successivo; una risoluzione successiva non conta retroattivamente
Nota
Questa metrica viene aggiornata ogni 24 ore. Questa metrica è disponibile come parte di Connect Customer AI.
Punteggio di fedeltà
Questa metrica misura la percentuale di sessioni in cui le risposte di Orchestration AI Agent rimangono fedeli al contesto della conversazione, inclusi i messaggi e i risultati delle chiamate agli strumenti. Il valore è compreso tra 0 e 1, dove 1 indica la perfetta fedeltà contestuale.
-
Tipo di metrica: Double
-
Categoria metrica: sessione AI
-
GetMetricDataV2 Identificatore metrico API:
FAITHFULNESS_SCORE -
Posizione del dashboard: AI Agent Performance Dashboard, Avg. Punteggio di fedeltà
Criteri di valutazione:
Questa metrica utilizza una LLM-based valutazione automatizzata che analizza la risposta di ogni agente AI rispetto al contesto della conversazione. La fedeltà di ogni risposta viene valutata e verificata l'eventuale presenza di allucinazioni in base ai seguenti criteri:
-
Precisione della rappresentazione: la risposta rappresenta accuratamente le informazioni del contesto della conversazione?
-
Coerenza: la risposta mantiene la coerenza con i fatti indicati nella conversazione?
-
Inferenze supportate: le inferenze fornite dalla risposta sono ragionevolmente supportate dal contesto?
-
Attribuzione corretta: la risposta attribuisce correttamente affermazioni e informazioni alla fonte corretta della conversazione senza falsificare o disallineare le affermazioni?
Nota
Questa metrica viene aggiornata ogni 24 ore. Questa metrica è disponibile come parte di Connect Customer AI.
Percentuale di successo degli obiettivi
Questa metrica misura la percentuale di sessioni in cui l'agente AI di Orchestration ha risolto con successo i problemi dei clienti. Il valore è compreso tra 0 e 1, dove 1 indica la risoluzione riuscita in tutte le sessioni.
-
Tipo di metrica: Double
-
Categoria metrica: sessione AI
-
GetMetricDataV2 Identificatore metrico API:
GOAL_SUCCESS_RATE -
Posizione del dashboard: AI Agent Performance Dashboard, Goal Success Rate
Criteri di valutazione:
Questa metrica utilizza una LLM-based valutazione automatizzata che analizza la traccia completa della conversazione per ogni sessione di agente AI. Ogni sessione viene valutata come riuscita o meno in base a quattro fattori:
-
Raggiungimento dell'obiettivo: l'agente AI ha raggiunto l'obiettivo principale del cliente?
-
Qualità del risultato: il risultato finale è accurato e privo di errori?
-
Completezza: tutti gli aspetti della richiesta sono stati risolti?
-
Adeguatezza: l'agente di intelligenza artificiale ha utilizzato strumenti e approcci adeguati?
Nota
Questa metrica viene aggiornata ogni 24 ore. Questa metrica è disponibile come parte di Connect Customer AI.
Riferimenti ai contenuti della conoscenza
Questa metrica misura il numero di articoli di contenuto conoscitivo a cui fanno riferimento gli agenti AI.
-
Tipo di metrica: numero intero
-
Categoria metrica: AI Knowledge Base
-
GetMetricDataV2 Identificatore metrico API:
KNOWLEDGE_CONTENT_REFERENCES -
Posizione del dashboard: AI Agent Performance Dashboard, Knowledge Base Reference Count
Risposta agli intenti proattivi
-
Tipo di metrica: numero intero
-
Categoria metrica: sessione AI
-
GetMetricDataV2 Identificatore metrico API:
PROACTIVE_INTENTS_ANSWERED
Intenti proattivi rilevati
Questa metrica misura il numero di intenti proattivi (richieste dei clienti) rilevati durante le sessioni di intelligenza artificiale, in particolare per i casi d'uso di Agent Assistance.
-
Tipo di metrica: numero intero
-
Categoria metrica: sessione AI
-
GetMetricDataV2 Identificatore metrico API:
PROACTIVE_INTENTS_DETECTED
Intenti proattivi coinvolti
Questa metrica misura il numero di intenti proattivi (richieste dei clienti) con cui gli agenti umani hanno interagito durante le sessioni di intelligenza artificiale.
-
Tipo di metrica: numero intero
-
Categoria metrica: sessione AI
-
GetMetricDataV2 Identificatore metrico API:
PROACTIVE_INTENTS_ENGAGED
Tasso di coinvolgimento degli intenti proattivi
Questa metrica misura la percentuale di intenti proattivi rilevati che sono stati cliccati o interagiti da agenti umani.
-
Tipo di metrica: percentuale
-
Categoria metrica: sessione AI
-
GetMetricDataV2 Identificatore metrico API:
PROACTIVE_INTENT_ENGAGEMENT_RATE -
Posizione del dashboard: AI Agent Performance Dashboard, Proactive Intent Engagement Rate
Tasso di risposta agli intenti proattivi
-
Tipo di metrica: percentuale
-
Categoria metrica: sessione AI
-
GetMetricDataV2 Identificatore metrico API:
PROACTIVE_INTENT_RESPONSE_RATE
