Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Leistungs-Dashboard für KI-Agenten
Sie können das Leistungs-Dashboard für KI-Agenten verwenden, um sich die Leistung von AI Agents anzusehen und Einblicke in die einzelnen KI-Agenten und im Zeitverlauf zu erhalten.
Das Dashboard bietet einen zentralen Ort, an dem Sie die aggregierte Leistung von AI Agent einsehen können. Verwenden Sie das Dashboard, um die Kennzahlen Ihrer KI-Agenten wie Anzahl der Aufrufe, Latenz und Erfolgsquote einzusehen.
Zugriff auf das Dashboard gewähren
Stellen Sie sicher, dass den Benutzern die entsprechenden Sicherheitsprofilberechtigungen zugewiesen werden:
Berechtigung Auf Metriken zugreifen – Zugriff oder Dashboard – Zugriff. Informationen zu den Unterschieden in der Verhaltensweise dieser Berechtigungen finden Sie unter Zuweisen von Berechtigungen zur Anzeige von Dashboards und Berichten in Amazon Connect.
Für den Zugriff auf das AI Agent Performance-Dashboard ist mindestens eine der folgenden Sicherheitsprofilberechtigungen erforderlich:
-
AI-Agent-Designer — Zugriffsberechtigung für KI-Agenten
-
AI-Agent-Designer — Berechtigung zum Anzeigen von KI-Eingabeaufforderungen
-
AI-Agent-Designer — Zugriffsrechte für KI-Leitplanken
-
Agentenanwendungen — Zugriffsrechte für den Connect-Assistenten
Das Dashboard ist verfügbar unter: Analytik und Optimierung > Analytics-Dashboards > AI Agent Performance.
Benchmark für den Zeitraum und „Vergleichen mit“ festlegen
Verwenden Sie den Zeitbereichsfilter, um das Datum und den Zeitraum anzugeben, für den Sie Daten im Dashboard anzeigen möchten.
Standardmäßig zeigt das Dashboard Daten für die letzte Woche an. Sie können den Zeitraum so anpassen, dass Daten aus den letzten 15 Minuten oder aus dem Verlauf von bis zu 3 Monaten angezeigt werden.
Verwenden Sie den Filter „Vergleichen“, um einen Zeitraum auszuwählen, mit dem Sie Ihre aktuellen Daten vergleichen möchten. Auf diese Weise können Sie Trends erkennen und Verbesserungen oder Probleme im Laufe der Zeit verfolgen.
Leistungsübersicht der Self-Service-KI
In diesem Abschnitt wird der Zustand Ihrer von AI-Agenten initiierten Self-Service-Interaktionen angezeigt. Er zeigt die folgenden Schlüsselkennzahlen für den ausgewählten Zeitraum, gefiltert nach dem Anwendungsfall „Self-Service“:
-
An KI beteiligte Kontakte:
Gesamtzahl der bearbeiteten Kontakte, bei denen KI-Agenten Kundenanfragen beantworteten, ohne menschliche Agenten einzubeziehen.
-
Aktive KI-Agenten:
Die Gesamtzahl der eindeutigen KI-Agenten, wobei jeder Agent anhand seiner eindeutigen Kombination aus Name und Version identifiziert wird.
-
Abschlussrate der Antwort:
Der Prozentsatz der AI-Agentensitzungen, die erfolgreich auf eingehende Anfragen geantwortet haben.
-
Übergaberate:
Prozentsatz der Self-Service-Kontakte, die von KI-Agenten bearbeitet wurden und als zusätzliche Unterstützung eingestuft wurden, einschließlich, aber nicht beschränkt auf menschliche Agenten.
-
Erfolgsquote des Ziels:
Der Anteil der Sitzungen, in denen KI-Agenten Kundenprobleme erfolgreich gelöst haben. Der Wert liegt zwischen 0 und 1, wobei 1 für eine erfolgreiche Lösung in allen Sitzungen steht.
-
Treuepunktzahl:
Der Anteil der Antworten von KI-Agenten, die dem Konversationskontext treu bleiben, einschließlich Nachrichten und Ergebnisse von Toolaufrufen. Der Wert liegt zwischen 0 und 1, wobei 1 für perfekte kontextuelle Genauigkeit steht.
Die folgende Abbildung zeigt ein Beispiel für ein Diagramm mit einer Zusammenfassung der Self-Service-KI-Leistung.
Zusammenfassung der KI-Leistung der Agentenunterstützung
Dieses Widget zeigt den Zustand Ihrer agentengestützten Interaktionen, bei denen KI menschliche Agenten unterstützt. Es zeigt die folgenden wichtigen Kennzahlen für den ausgewählten Zeitraum, gefiltert nach dem Anwendungsfall „Agent Assistance“.
-
An der KI waren Kontakte beteiligt:
Gesamtzahl der Kontakte, bei denen KI-Agenten menschliche Agenten bei der Lösung von Kundenanfragen unterstützt haben.
-
Aktive KI-Agenten:
Die Gesamtzahl der eindeutigen KI-Agenten, wobei jeder Agent anhand seiner eindeutigen Kombination aus Name und Version identifiziert wird.
-
Abschlussrate der Antwort:
Der Prozentsatz der AI-Agentensitzungen, die erfolgreich auf eingehende Anfragen geantwortet haben.
-
Interaktionsrate mit proaktiver Absicht:
Prozentsatz der erkannten proaktiven Absichten, die von menschlichen Agenten angeklickt wurden.
-
Treuepunktzahl:
Der Anteil der Antworten von KI-Agenten, die dem Konversationskontext treu bleiben, einschließlich Nachrichten und Ergebnisse von Toolaufrufen. Der Wert liegt zwischen 0 und 1, wobei 1 für perfekte kontextuelle Genauigkeit steht.
Die folgende Abbildung zeigt ein Beispiel für eine Übersicht über die KI-Leistung der Agentenunterstützung.
Leistung von KI-Agenten
Diese Tabelle bietet einen detaillierten Überblick über die Leistung von KI-Agenten vom Anwendungsfall bis hin zu den einzelnen Agentenversionen und deren wichtigsten Leistungskennzahlen.
In der Tabelle werden Leistungskennzahlen auf zwei Ebenen angezeigt:
-
Ebene des KI-Anwendungsfalls:
Aggregierte Metriken für alle Agentenversionen innerhalb eines Anwendungsfalls (Self-Service für Endkunden, Unterstützung durch Agenten).
-
Versionsebene des AI-Agenten:
Individuelle Leistungskennzahlen für jede Agentenversion.
Sie können die Anwendungsfallzeilen erweitern oder reduzieren, um nach bestimmten Agentenversionen zu suchen. Um zu sehen, wie jede Version zur Gesamtleistung des Anwendungsfalls beiträgt, sehen Sie sich die einzelnen Metriken für jede Agentenversionszeile an.
angezeigte Metriken:
-
Anzahl der Aufrufe von KI-Agenten:
Gesamtzahl der Aufrufe der AI-Agent-Version.
-
Erfolgsquote beim Aufrufen von KI-Agenten:
Prozentsatz der Aufrufe von KI-Agenten, die erfolgreich ausgeführt wurden.
-
Durchschn. Die Konversation mit KI-Agenten dreht sich um:
Durchschnittliche Anzahl von Gesprächsrunden, die der KI-Agent benötigte, um zu einem Ergebnis zu gelangen.
-
Hilfreiche Antwort:
Anzahl der KI-Vorschläge, die als hilfreich bewertet wurden, wenn der Daumen hoch gedrückt wurde.
-
Nicht hilfreiche Antwort:
Anzahl der KI-Vorschläge, die mit dem Daumen nach unten als nicht hilfreich bewertet wurden.
-
Genauigkeit der Werkzeugnutzung:
Die Rate der korrekten Werkzeugnutzung durch den KI-Agenten. Der Wert liegt zwischen 0 und 1, wobei 1 für eine perfekte Auslastung steht.
-
Genauigkeit der Werkzeugauswahl:
Die Rate der korrekten Werkzeugauswahl durch KI-Agenten. Der Wert liegt zwischen 0 und 1, wobei 1 für die optimale Auswahl steht.
-
Genauigkeit der Werkzeugparameter:
Die Rate der Tool-Aufrufe, bei denen KI-Agenten die richtigen Parameter bereitgestellt haben. Der Wert liegt zwischen 0 und 1, wobei 1 für eine perfekte Parametergenauigkeit steht.
Die folgende Abbildung zeigt ein Beispiel für eine Leistungstabelle für KI-Agenten.
Erfolgsquote von KI-Agenten nach Aufrufen
Das Diagramm mit der Erfolgsquote der AI-Agenten nach Aufrufen zeigt die Erfolgsquote der einzelnen AI-Agenten. Sie können dieses Widget weiter konfigurieren, indem Sie direkt aus diesem Diagramm nach bestimmten KI-Agenten, KI-Agententypen, KI-Anwendungsfällen oder anderen Dimensionen filtern.
Die folgende Abbildung zeigt ein Beispiel für eine Tabelle mit der Erfolgsquote von KI-Agenten nach Aufrufen.
Nutzung der Wissensdatenbank
Diese Tabelle bietet eine detaillierte Ansicht der Artikel in der Wissensdatenbank, auf die Ihre KI-Agenten verweisen. Sie können die Liste nach AI-Agententyp und AI-Agentenzeilen erweitern, um einen bestimmten Namen der Wissensdatenbank aufzurufen und zu sehen, wie oft von KI-Agenten auf eine Wissensdatenbank verwiesen wurde.
angezeigte Metriken:
-
Anzahl der Verweise — Häufigkeit, mit der der Artikel von KI-Agenten referenziert wurde.
Die folgende Abbildung zeigt ein Beispiel für eine Tabelle zur Nutzung der Wissensdatenbank.
Leistungstrend der KI-Agenten
Der Leistungstrend der KI-Agenten ist ein Zeitreihendiagramm, das die Erfolgsquote bei Aufrufen von KI-Agenten (blaue Balken), den Treuepunktewert (rote Linie) und die Genauigkeit der Toolnutzung (grüne Linie) über einen bestimmten Zeitraum, aufgeschlüsselt nach Intervallen (15 Minuten, täglich, wöchentlich, monatlich), anzeigt. Sie können verschiedene Zeitintervalle konfigurieren, indem Sie die Schaltfläche „Intervall“ direkt im Widget verwenden. Die Intervalle, die Sie auswählen können, hängen vom Zeitbereichsfilter auf Seitenebene ab.
Beispiel:
-
Wenn Sie oben in Ihrem Dashboard den Zeitraumfilter „Heute“ haben, können Sie für die letzten 24 Stunden nur ein Intervall von 15 Minuten sehen.
-
Wenn Sie oben in Ihrem Dashboard einen Zeitraumfilter „Tag“ haben, können Sie einen Intervalltrend der letzten 8 Tage oder einen Intervalltrend von 15 Minuten für die letzten 24 Stunden sehen.
-
Wenn Sie oben in Ihrem Dashboard den Zeitbereichsfilter „Woche“ haben, können Sie tägliche oder wöchentliche Intervalltrends sehen.
-
Wenn Sie oben in Ihrem Dashboard den Zeitbereichsfilter „Monat“ haben, können Sie tägliche oder monatliche Intervalltrends sehen.
Die folgende Abbildung zeigt ein Beispiel für ein Trenddiagramm zur Leistung von AI-Agenten.
Verwendung von KI-Tools
In dieser Tabelle werden Tool-Implementierungen (z. B. MCP — Model Context Protocol Return-to-Control) in Bezug auf Aufrufe, durchschnittliche Latenz und Erfolgsrate bei Aufrufen sowie Genauigkeit der Toolnutzung verglichen.
Sie können beispielsweise einen KI-Agententyp (wie Orchestrierung oder Antwortempfehlung) auswählen und sich anzeigen lassen, wie verschiedene Tools und ihre Versionen innerhalb dieses Agententyps abschneiden. Sie können ermitteln, welche Toolversionen optimiert werden müssen, indem Sie die Spalten anhand der Anzahl der KI-Tool-Aufrufe, der Erfolgsrate der KI-Tool-Aufrufe oder des Durchschnitts sortieren. Latenz bei Aufrufen von KI-Tools.
In der Tabelle werden Leistungskennzahlen auf drei Ebenen angezeigt:
-
Ebene des AI-Agenten:
Aggregierte Metriken für alle Tools und Versionen innerhalb eines Agententyps.
-
Ebene des KI-Tooltyps:
Aggregierte Metriken für alle Versionen eines bestimmten Tooltyps.
-
KI-Tool:
Individuelle Leistungskennzahlen für jede Toolversion.
Sie können die Zeilen „AI-Agententyp“ und „Werkzeugtyp“ erweitern oder reduzieren, um eine Aufschlüsselung nach bestimmten Toolversionen vorzunehmen. Um zu sehen, wie jede Version zur Gesamtleistung des Tooltyps beiträgt, sehen Sie sich die einzelnen Metriken für jede Toolversionszeile an.
angezeigte Metriken:
-
Anzahl der Aufrufe von KI-Tools:
Gesamtzahl der Aufrufe der AI-Tool-Version.
-
Durchschn. Latenz beim Aufrufen von KI-Tools:
Durchschnittliche Aufruflatenz in Millisekunden für die Toolversion.
-
Erfolgsquote beim Aufrufen von KI-Tools:
Prozentsatz der KI-Tool-Aufrufe, die erfolgreich ausgeführt wurden.
-
Genauigkeit der Werkzeugnutzung:
Die Rate der korrekten Werkzeugnutzung durch den KI-Agenten. Der Wert liegt zwischen 0 und 1, wobei 1 für eine perfekte Auslastung steht.
-
Genauigkeit der Werkzeugauswahl:
Die Rate der korrekten Werkzeugauswahl durch KI-Agenten. Der Wert liegt zwischen 0 und 1, wobei 1 für die optimale Auswahl steht.
-
Genauigkeit der Werkzeugparameter:
Die Rate der Tool-Aufrufe, bei denen KI-Agenten die richtigen Parameter bereitgestellt haben. Der Wert liegt zwischen 0 und 1, wobei 1 für eine perfekte Parametergenauigkeit steht.
Die folgende Abbildung zeigt ein Beispiel für die Verwendung von KI-Tools.
Schnelle Leistung der KI
Diese Tabelle bietet einen detaillierten Überblick über die Leistung von KI-Eingabeaufforderungen. Sie können die Zeilen AI-Agententyp und Prompt-Typ erweitern, um eine Aufschlüsselung nach bestimmten Prompt-Versionen vorzunehmen. Um zu sehen, wie jede Version zur Gesamtleistung des Prompt-Typs beiträgt, sehen Sie sich die einzelnen Metriken für jede Zeile mit der Prompt-Version an.
In der Tabelle werden Leistungskennzahlen auf drei Ebenen angezeigt:
-
Ebene des AI-Agenten:
Aggregierte Metriken für alle Eingabeaufforderungen und Versionen für einen AI-Agententyp.
-
Ebene des AI-Prompt-Typs:
Aggregierte Metriken für alle Versionen eines bestimmten KI-Prompt-Typs.
-
Versionsebene der AI-Eingabeaufforderung:
Individuelle Leistungskennzahlen für jede AI-Prompt-Version.
angezeigte Metriken:
-
Anzahl der Aufrufe von KI-Eingabeaufforderungen:
Gesamtzahl der Aufrufe der AI-Prompt-Version.
-
Erfolgsquote beim Aufrufen von KI-Eingabeaufforderungen:
Prozentsatz der KI-Prompt-Aufrufe, die erfolgreich ausgeführt wurden.
-
Durchschn. Latenz beim Aufrufen der KI-Eingabeaufforderung:
Durchschnittliche Aufruflatenz in Millisekunden für die AI-Prompt-Version.
Zusätzlich zur Verwendung der Seitenfilter können Sie der Tabelle Filter für bestimmte AI-Agenten, KI-Eingabeaufforderungen, Zeitbereiche oder andere Dimensionen hinzufügen.
Die folgende Abbildung zeigt ein Beispiel für eine Leistungstabelle für KI-Eingabeaufforderungen.
Trend zu proaktiven Absichten
Das Trenddiagramm für proaktive Absichten zeigt die erkannten proaktiven Absichten (blaue Balken) im Vergleich zur Interaktionsrate proaktiver Absichten (rote Linie) und der Rate proaktiver Absichten (grüne Linie) über einen bestimmten Zeitraum, aufgeschlüsselt nach Intervallen (15 Minuten, täglich, wöchentlich, monatlich). Sie können verschiedene Zeitintervalle konfigurieren, indem Sie die Schaltfläche „Intervall“ direkt im Widget verwenden. Die Intervalle, die Sie auswählen können, hängen vom Zeitbereichsfilter auf Seitenebene ab.
Angezeigt werden die Messwerte:
-
Proaktive Absichten wurden erkannt:
Die Anzahl der proaktiven Absichten (Kundenanfragen), die während KI-Sitzungen erkannt wurden, für Anwendungsfälle der Agentenunterstützung.
-
Interaktionsrate mit proaktiven Absichten:
Der Prozentsatz der erkannten proaktiven Absichten, die von menschlichen Agenten angeklickt wurden oder mit denen sie interagiert haben, für Anwendungsfälle der Agentenunterstützung.
-
Rate der Reaktion auf proaktive Absichten:
Der Prozentsatz der aktiven proaktiven Absichten, die von KI-Agenten erfolgreich erfüllt wurden, für Anwendungsfälle mit Agentenunterstützung.
Die folgende Abbildung zeigt ein Beispiel für ein Trenddiagramm mit proaktiven Absichten.
KI-Eingabeaufforderungen nach Aufruflatenz
Das Diagramm „KI-Eingabeaufforderungen nach Aufruf-Latenz“ zeigt die durchschnittliche Aufruflatenz in Millisekunden für jede KI-Aufforderung an. Sie können dieses Widget weiter konfigurieren, indem Sie direkt aus diesem Diagramm nach bestimmten KI-Eingabeaufforderungen, AI-Aufforderungstyp, KI-Agenten, KI-Anwendungsfall oder anderen Dimensionen filtern.
Die folgende Abbildung zeigt ein Beispiel für ein Diagramm mit KI-Eingabeaufforderungen nach Aufruflatenz.
KI-Eingabeaufforderungen werden anhand der Erfolgsrate des Aufrufs angezeigt
In der Tabelle mit der Erfolgsrate von KI-Eingabeaufforderungen nach Aufrufen wird die Erfolgsrate der einzelnen KI-Eingabeaufforderungen angezeigt. Sie können dieses Widget weiter konfigurieren, indem Sie direkt aus diesem Diagramm nach bestimmten KI-Eingabeaufforderungen, AI-Aufforderungstyp, KI-Agenten, KI-Anwendungsfall oder anderen Dimensionen filtern.
Die folgende Abbildung zeigt ein Beispiel für eine Tabelle mit der Erfolgsquote von KI-Eingabeaufforderungen nach Aufrufen.
