Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Kennzahlen für KI-Agenten
Die folgenden Metriken sind für die Überwachung der Leistung von KI-Agenten verfügbar. Informationen zum Erstellen von KI-Agenten finden Sie unter KI-Agenten erstellen. Informationen zum Erstellen von KI-Eingabeaufforderungen finden Sie unter KI-Eingabeaufforderungen erstellen. Informationen zu den MCP-Tools für AI-Agenten finden Sie unter. MCP-Tools für KI-Agenten
Aktive KI-Agenten
Diese Metrik misst die Gesamtzahl der eindeutigen KI-Agenten, wobei jeder KI-Agent anhand seiner eindeutigen Kombination aus Name und Version identifiziert wird.
-
Metriktyp: Ganzzahl
-
Metrikkategorie: AI-Agent
-
GetMetricDataV2 API-Metrik-ID:
ACTIVE_AI_AGENTS -
Speicherort des Dashboards: Leistungs-Dashboard für KI-Agenten, Aktive AI-Agenten
Aufrufe von KI-Agenten
Diese Metrik misst die Gesamtzahl der Aufrufe von KI-Agenten für alle KI-Agenten pro Instanz.
-
Metriktyp: Ganzzahl
-
Metrikkategorie: AI-Agent
-
GetMetricDataV2 API-Metrik-ID:
AI_AGENT_INVOCATIONS -
Standort des Dashboards: Leistungs-Dashboard für KI-Agenten, Anzahl der AI-Agenten-Aufrufe
Der Aufruf des KI-Agenten war erfolgreich
Diese Metrik misst die Anzahl der AI-Agent-Aufrufe, die erfolgreich ohne technische Ausfälle wie API-Fehler, Timeouts oder Systemprobleme ausgeführt wurden.
-
Metriktyp: Ganzzahl
-
Metrikkategorie: AI Agent
-
GetMetricDataV2 API-Metrik-ID:
AI_AGENT_INVOCATION_SUCCESS
Erfolgsquote beim Aufrufen von KI-Agenten
Diese Metrik misst den Prozentsatz der AI-Agent-Aufrufe, die erfolgreich und ohne technische Ausfälle ausgeführt wurden.
-
Metriktyp: Prozent
-
Metrikkategorie: AI Agent
-
GetMetricDataV2 API-Metrik-ID:
AI_AGENT_INVOCATION_SUCCESS_RATE -
Standort des Dashboards: Leistungs-Dashboard für KI-Agenten, Erfolgsquote bei Aufrufen von KI-Agenten
Antwort des KI-Agenten hilfreich
Diese Kennzahl misst die Anzahl der KI-Vorschläge, die mit dem Daumen nach oben als hilfreich bewertet wurden.
-
Metriktyp: Ganzzahl
-
Metrikkategorie: AI-Agent
-
GetMetricDataV2 API-Metrik-ID:
AI_AGENT_RESPONSE_HELPFUL -
Standort des Dashboards: Leistungs-Dashboard für KI-Agenten, Antwort des KI-Agenten hilfreich
Anmerkung
Diese Metrik wird alle 6 Stunden aktualisiert. Diese Metrik ist als Teil von Connect Customer AI verfügbar.
Antwort des KI-Agenten nicht hilfreich
Diese Metrik misst die Anzahl der KI-Vorschläge, die mit dem Daumen nach unten als nicht hilfreich eingestuft wurden.
-
Metriktyp: Ganzzahl
-
Metrikkategorie: AI-Agent
-
GetMetricDataV2 API-Metrik-ID:
AI_AGENT_RESPONSE_NOT_HELPFUL -
Standort des Dashboards: Leistungs-Dashboard für KI-Agenten, Antwort des AI-Agenten nicht hilfreich
Anmerkung
Diese Metrik wird alle 6 Stunden aktualisiert. Diese Metrik ist als Teil von Connect Customer AI verfügbar.
KI-Übergaben
Diese Kennzahl misst die Gesamtzahl der Kontakte, die von KI-Agenten bearbeitet wurden und zu menschlichen Agenten eskaliert sind. Diese Kennzahl gilt insbesondere für Self-Service-Anwendungsfälle, in denen KI-Agenten zunächst Kundenanfragen bearbeiten.
-
Metriktyp: Ganzzahl
-
Metrikkategorie: KI-Sitzung
-
GetMetricDataV2 Kennung der API-Metrik:
AI_HANDOFFS
AI-Übergaberate
Diese Kennzahl misst den Prozentsatz der Kontakte, die von KI-Agenten bearbeitet wurden und bei denen eine Eskalation an menschliche Agenten oder zusätzlichen Support erfolgte.
-
Metriktyp: Prozent
-
Metrikkategorie: KI-Sitzung
-
GetMetricDataV2 Kennung der API-Metrik:
AI_HANDOFF_RATE -
Speicherort des Dashboards: Leistungs-Dashboard für KI-Agenten, Übergaberate
Abschlussrate der KI-Antwort
Diese Kennzahl misst den Prozentsatz der KI-Sitzungen, die erfolgreich auf eingehende Kundenanfragen reagiert haben.
-
Metriktyp: Prozent
-
Metrikkategorie: KI-Sitzung
-
GetMetricDataV2 Kennung der API-Metrik:
AI_RESPONSE_COMPLETION_RATE -
Speicherort des Dashboards: Leistungs-Dashboard für KI-Agenten, Abschlussrate der Antworten
An KI beteiligte Kontakte
Diese Kennzahl misst die Gesamtzahl der Kundenkontakte, an denen KI-Agenten beteiligt waren. Dabei wurde entweder Self-Service-Automatisierung ermöglicht oder menschliche Agenten bei der Lösung von Kundenanfragen unterstützt.
-
Metriktyp: Ganzzahl
-
Metrikkategorie: KI-Sitzung
-
GetMetricDataV2 Kennung der API-Metrik:
AI_INVOLVED_CONTACTS -
Standort des Dashboards: Leistungs-Dashboard für KI-Agenten, an KI beteiligte Kontakte
KI-Prompt-Aufruf erfolgreich
Diese Metrik misst die Anzahl der AI Prompt-Aufrufe, die erfolgreich und ohne Fehler ausgeführt wurden.
-
Metriktyp: Ganzzahl
-
Metrikkategorie: AI Prompt
-
GetMetricDataV2 API-Metrik-ID:
AI_PROMPT_INVOCATION_SUCCESS
Erfolgsquote bei KI-Prompt-Aufrufen
Diese Metrik misst den Prozentsatz der AI-Prompt-Aufrufe, die erfolgreich ausgeführt wurden.
-
Metriktyp: Prozent
-
Metrikkategorie: AI Prompt
-
GetMetricDataV2 API-Metrik-ID:
AI_PROMPT_INVOCATION_SUCCESS_RATE -
Standort des Dashboards: Leistungs-Dashboard für KI-Agenten, Erfolgsquote bei KI-Prompt-Aufrufen
KI-Eingabeaufforderung
Diese Metrik misst die Gesamtzahl der AI-Prompt-Aufrufe.
-
Metriktyp: Ganzzahl
-
Metrikkategorie: AI Prompt
-
GetMetricDataV2 API-Metrik-ID:
AI_PROMPT_INVOCATIONS -
Standort des Dashboards: Leistungs-Dashboard für KI-Agenten, Anzahl der Aufrufe von KI-Eingabeaufforderungen
Der Aufruf des KI-Tools war erfolgreich
Diese Metrik misst die Gesamtzahl der KI-Tool-Aufrufe, die erfolgreich ausgeführt wurden.
-
Metriktyp: Ganzzahl
-
Metrikkategorie: KI-Tool
-
GetMetricDataV2 API-Metrik-ID:
AI_TOOL_INVOCATION_SUCCESS
Erfolgsquote beim Aufrufen von KI-Tools
Diese Metrik misst den Prozentsatz der KI-Tool-Aufrufe, die erfolgreich ausgeführt wurden.
-
Metriktyp: Prozent
-
Metrische Kategorie: KI-Tool
-
GetMetricDataV2 API-Metrik-ID:
AI_TOOL_INVOCATION_SUCCESS_RATE -
Speicherort des Dashboards: Leistungs-Dashboard für KI-Agenten, Erfolgsquote beim Aufrufen von KI-Tools
Aufrufe von KI-Tools
Diese Metrik misst die Gesamtzahl der KI-Tool-Aufrufe.
-
Metriktyp: Ganzzahl
-
Metrische Kategorie: KI-Tool
-
GetMetricDataV2 API-Metrik-ID:
AI_TOOL_INVOCATIONS -
Standort des Dashboards: Leistungs-Dashboard für KI-Agenten, Anzahl der KI-Tool-Aufrufe
Genauigkeit der AI-Tool-Parameter
Diese Metrik misst die Rate der Tool-Aufrufe, bei denen KI-Agenten die richtigen Parameter angegeben haben. Der Wert liegt zwischen 0 und 1, wobei 1 für eine perfekte Parametergenauigkeit steht.
-
Metriktyp: Doppelt
-
Metrische Kategorie: KI-Tool
-
GetMetricDataV2 API-Metrik-ID:
AI_TOOL_PARAMETER_ACCURACY -
Standort des Dashboards: Leistungs-Dashboard für KI-Agenten, Genauigkeit der AI-Tool-Parameter
Bewertungskriterien:
Diese Metrik verwendet eine automatisierte LLM-based Auswertung, bei der die an jeden Tool-Aufruf übergebenen Parameter anhand des Konversationskontextes und der Parameterdefinitionen des Tools analysiert werden. Jeder Tool-Aufruf wird anhand der folgenden Kriterien entweder als richtig oder falsch bewertet:
-
Präsenz: Sind alle erforderlichen Parameter vorhanden und korrekt ausgefüllt?
-
Genauigkeit: Werden Parameterwerte explizit durch den Konversationskontext gerechtfertigt und nicht abgeleitet oder angenommen?
-
Genauigkeit: Sind zusätzliche, irrelevante oder erfundene Parameter enthalten?
Anmerkung
Diese Kennzahl wird alle 24 Stunden aktualisiert. Diese Metrik ist als Teil von Connect Customer AI verfügbar.
Genauigkeit bei der Auswahl von KI-Tools
Diese Metrik misst die Rate der korrekten Werkzeugauswahl durch KI-Agenten. Der Wert liegt zwischen 0 und 1, wobei 1 für eine optimale Auswahl steht.
-
Metriktyp: Doppelt
-
Metrische Kategorie: KI-Tool
-
GetMetricDataV2 API-Metrik-ID:
AI_TOOL_SELECTION_ACCURACY -
Standort des Dashboards: Leistungs-Dashboard für KI-Agenten, Genauigkeit der KI-Toolauswahl
Bewertungskriterien:
Diese Metrik verwendet eine automatisierte LLM-based Auswertung, bei der jeder vom KI-Agenten getätigte Tool-Aufruf analysiert wird. Jeder Tool-Aufruf wird anhand der folgenden Kriterien entweder als richtig oder falsch bewertet:
-
Angemessenheit: War das gewählte Tool das richtige für die Erfüllung der Kundenanfrage?
-
Notwendigkeit: Hat der KI-Agent unnötige oder falsche Tool-Aufrufe vermieden?
-
Optimale Auswahl: War ein geeigneteres Tool verfügbar, das der KI-Agent verpasst hat?
Anmerkung
Diese Metrik wird alle 24 Stunden aktualisiert. Diese Metrik ist als Teil von Connect Customer AI verfügbar.
Genauigkeit der Nutzung von KI-Tools
Diese Kennzahl misst die Rate der korrekten Nutzung von Tools durch KI-Agenten, einschließlich der richtigen Parameter und Auswahl. Der Wert liegt zwischen 0 und 1, wobei 1 für eine perfekte Auslastung steht.
-
Metriktyp: Doppelt
-
Metrische Kategorie: KI-Tool
-
GetMetricDataV2 API-Metrik-ID:
AI_TOOL_UTILIZATION_ACCURACY -
Standort des Dashboards: Leistungs-Dashboard für KI-Agenten, Genauigkeit der KI-Toolnutzung
Bewertungskriterien:
Diese Kennzahl ist der kombinierte Wert aus der Genauigkeit der KI-Werkzeugauswahl und der Genauigkeit der KI-Werkzeugparameter.
Anmerkung
Diese Metrik wird alle 24 Stunden aktualisiert. Diese Metrik ist als Teil von Connect Customer AI verfügbar.
Durchschnittliche Gesprächsrunden mit KI-Agenten
Diese Kennzahl misst die durchschnittliche Anzahl der Konversationsrunden, die KI-Agenten zurückgelegt haben, um zu einem Ergebnis zu gelangen.
-
Metriktyp: Doppelt
-
Metrikkategorie: KI-Agent
-
GetMetricDataV2 API-Metrik-ID:
AVG_AI_AGENT_CONVERSATION_TURNS -
Speicherort des Dashboards: Leistungs-Dashboard für AI-Agenten, Durchschn. Die Konversation mit KI-Agenten wird unterbrochen
Durchschnittliche Gesprächsrunden mit KI
Diese Kennzahl misst die durchschnittliche Anzahl der Konversationsabgänge aller an KI beteiligten Kontakte.
-
Metriktyp: Doppelt
-
Metrikkategorie: KI-Sitzung
-
GetMetricDataV2 Kennung der API-Metrik:
AVG_AI_CONVERSATION_TURNS -
Speicherort des Dashboards: Leistungs-Dashboard für AI-Agenten, Durchschn. Die KI-Konversation dreht sich
Durchschnittliche Latenz beim Aufruf von KI-Eingabeaufforderungen
Diese Metrik misst die durchschnittliche Aufruflatenz von KI-Eingabeaufforderungen in Millisekunden.
-
Metriktyp: Doppelt
-
Metrische Kategorie: KI-Aufforderung
-
GetMetricDataV2 API-Metrik-ID:
AVG_AI_PROMPT_INVOCATION_LATENCY -
Speicherort des Dashboards: Leistungs-Dashboard für AI-Agenten, Durchschn. Latenz bei KI-Eingabeaufforderung
Durchschnittliche Latenz bei Aufrufen von KI-Tools
Diese Metrik misst die durchschnittliche Aufruflatenz von KI-Tools in Millisekunden.
-
Metriktyp: Doppelt
-
Metrische Kategorie: KI-Tool
-
GetMetricDataV2 API-Metrik-ID:
AVG_AI_TOOL_INVOCATION_LATENCY -
Speicherort des Dashboards: Leistungs-Dashboard für AI-Agenten, Durchschn. Latenz beim Aufrufen des KI-Tools
Vollständigkeitsbewertung
Diese Kennzahl misst den Anteil der Sitzungen, in denen der Orchestration AI Agent alle Teile der Kundenanfragen vollständig beantwortet, anstatt teilweise oder unvollständige Antworten zu geben. Der Wert liegt zwischen 0 und 1, wobei 1 für vollständige Antworten in allen Sitzungen steht.
-
Metriktyp: Doppelt
-
Metrikkategorie: KI-Sitzung
-
GetMetricDataV2 Kennung der API-Metrik:
COMPLETENESS_SCORE -
Speicherort des Dashboards: Leistungs-Dashboard für AI-Agenten, Durchschn. Vollständigkeitsbewertung
Bewertungskriterien:
Diese Metrik verwendet eine automatisierte LLM-based Auswertung, bei der jeder Kundenkontakt und die Reaktion des KI-Agenten analysiert werden. Wenn eine Kundennachricht mehrere Anfragen oder Fragen enthält, wird bei der Bewertung geprüft, ob jede Anfrage beantwortet wurde. Diese Metrik wird anhand der folgenden Kriterien bewertet:
-
Multi-request Reichweite: Wurden alle expliziten Anfragen innerhalb eines einzigen Zuges vom Agenten identifiziert und bearbeitet?
-
Definition des Begriffs „abgedeckt“: Wurde jede Anfrage entweder direkt beantwortet, mit der Absicht bestätigt, darauf zu reagieren, oder wurde erklärt, dass sie aus diesem Grund nicht möglich war policy/constraints?
-
Umfang der sofortigen Antwort: Nur die Antworten des Agenten vor der nächsten Nachricht werden ausgewertet; eine spätere Lösung zählt nicht rückwirkend
Anmerkung
Diese Metrik wird alle 24 Stunden aktualisiert. Diese Metrik ist als Teil von Connect Customer AI verfügbar.
Treuepunktzahl
Diese Kennzahl misst den Anteil der Sitzungen, bei denen die Antworten des Orchestration AI Agents dem Konversationskontext treu bleiben, einschließlich Nachrichten und Ergebnisse von Toolaufrufen. Der Wert liegt zwischen 0 und 1, wobei 1 für perfekte kontextuelle Genauigkeit steht.
-
Metriktyp: Doppelt
-
Metrische Kategorie: KI-Sitzung
-
GetMetricDataV2 Kennung der API-Metrik:
FAITHFULNESS_SCORE -
Speicherort des Dashboards: Leistungs-Dashboard für AI-Agenten, Durchschn. Treuepunktzahl
Bewertungskriterien:
Diese Metrik verwendet eine automatisierte LLM-based Auswertung, bei der jede Antwort eines KI-Agenten anhand des Konversationskontextes analysiert wird. Jede Antwort wird anhand der folgenden Kriterien auf ihre Echtheit und auf Halluzination geprüft:
-
Genauigkeit der Darstellung: Stellt die Antwort Informationen aus dem Konversationskontext korrekt dar?
-
Konsistenz: Stimmt die Antwort mit den in der Konversation angegebenen Fakten überein?
-
Unterstützte Schlussfolgerungen: Werden irgendwelche Schlussfolgerungen, die die Antwort zieht, durch den Kontext angemessen gestützt?
-
Richtige Zuordnung: Ordnet die Antwort Aussagen und Informationen korrekt der richtigen Quelle in der Konversation zu, ohne Behauptungen zu erfinden oder falsch auszurichten?
Anmerkung
Diese Kennzahl wird alle 24 Stunden aktualisiert. Diese Metrik ist als Teil von Connect Customer AI verfügbar.
Ziel, Erfolgsquote
Diese Kennzahl misst den Anteil der Sitzungen, in denen der Orchestration AI Agent Kundenprobleme erfolgreich gelöst hat. Der Wert liegt zwischen 0 und 1, wobei 1 für eine erfolgreiche Lösung in allen Sitzungen steht.
-
Metriktyp: Doppelt
-
Metrikkategorie: KI-Sitzung
-
GetMetricDataV2 Kennung der API-Metrik:
GOAL_SUCCESS_RATE -
Standort des Dashboards: Leistungs-Dashboard für KI-Agenten, Erfolgsquote des Ziels
Bewertungskriterien:
Diese Metrik verwendet eine automatisierte LLM-based Auswertung, bei der der gesamte Konversationsverlauf für jede AI-Agentensitzung analysiert wird. Jede Sitzung wird auf der Grundlage von vier Dimensionen entweder als erfolgreich oder nicht erfolgreich bewertet:
-
Zielerreichung: Hat der KI-Agent das Hauptziel des Kunden erreicht?
-
Qualität der Ergebnisse: Ist das Endergebnis korrekt und fehlerfrei?
-
Vollständigkeit: Wurden alle Aspekte der Anfrage berücksichtigt?
-
Angemessenheit: Hat der KI-Agent geeignete Tools und Ansätze verwendet?
Anmerkung
Diese Metrik wird alle 24 Stunden aktualisiert. Diese Metrik ist als Teil von Connect Customer AI verfügbar.
Wissen, Inhalt, Referenzen
Diese Metrik misst die Anzahl der Artikel mit Wissensinhalten, auf die KI-Agenten verweisen.
-
Metriktyp: Ganzzahl
-
Metrikkategorie: KI-Wissensdatenbank
-
GetMetricDataV2 Kennung der API-Metrik:
KNOWLEDGE_CONTENT_REFERENCES -
Speicherort des Dashboards: Leistungs-Dashboard für KI-Agenten, Anzahl der Referenzen in der Wissensdatenbank
Proaktive Absichten beantwortet
Diese Kennzahl misst die Anzahl der proaktiven Absichten (Kundenanfragen), die von KI-Agenten während KI-Sitzungen erfolgreich beantwortet wurden.
-
Metriktyp: Ganzzahl
-
Metrikkategorie: KI-Sitzung
-
GetMetricDataV2 Kennung der API-Metrik:
PROACTIVE_INTENTS_ANSWERED
Proaktive Absichten erkannt
Diese Metrik misst die Anzahl der proaktiven Absichten (Kundenanfragen), die während KI-Sitzungen erkannt wurden, insbesondere bei Anwendungsfällen mit Agentenunterstützung.
-
Metriktyp: Ganzzahl
-
Metrikkategorie: KI-Sitzung
-
GetMetricDataV2 Kennung der API-Metrik:
PROACTIVE_INTENTS_DETECTED
Proaktive Absichten verfolgt
Diese Kennzahl misst die Anzahl der proaktiven Absichten (Kundenanfragen), mit denen menschliche Agenten während KI-Sitzungen befasst wurden.
-
Metriktyp: Ganzzahl
-
Metrikkategorie: KI-Sitzung
-
GetMetricDataV2 Kennung der API-Metrik:
PROACTIVE_INTENTS_ENGAGED
Interaktionsrate mit proaktiver Absicht
Diese Kennzahl misst den Prozentsatz der erkannten proaktiven Absichten, die von menschlichen Agenten angeklickt oder genutzt wurden.
-
Metriktyp: Prozent
-
Metrikkategorie: KI-Sitzung
-
GetMetricDataV2 Kennung der API-Metrik:
PROACTIVE_INTENT_ENGAGEMENT_RATE -
Standort des Dashboards: Leistungs-Dashboard für KI-Agenten, Interaktionsrate bei proaktiven Absichten
Reaktionsrate bei proaktiver Absicht
Diese Kennzahl misst den Prozentsatz der aktiven proaktiven Absichten, die von KI-Agenten erfolgreich erfüllt wurden.
-
Metriktyp: Prozent
-
Metrikkategorie: KI-Sitzung
-
GetMetricDataV2 Kennung der API-Metrik:
PROACTIVE_INTENT_RESPONSE_RATE
