Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Tableau de bord des performances de l'agent AI
Vous pouvez utiliser le tableau de bord des performances de l'agent AI pour visualiser les performances de l'agent AI et obtenir des informations sur les agents AI et au fil du temps.
Le tableau de bord fournit un endroit unique pour visualiser les performances agrégées des agents AI. Utilisez le tableau de bord pour consulter les indicateurs de vos agents AI, tels que le nombre d'appels, la latence et le taux de réussite.
Table des matières
Octroi d’accès au tableau de bord
Assurez-vous que les utilisateurs disposent des autorisations de profil de sécurité appropriées :
Métriques d’accès – Autorisation d’accès ou Tableau de bord – Autorisation d’accès. Pour plus d’informations sur les différences de comportement, consultez Attribution des autorisations pour afficher les tableaux de bord et les rapports dans Amazon Connect.
Au moins l'une des autorisations de profil de sécurité suivantes est requise pour accéder au tableau de bord AI Agent Performance :
-
Concepteur d'agent AI - Autorisation d'affichage de l'agent AI
-
Concepteur d'agents IA - Autorisation d'affichage rapide par IA
-
Concepteur d'agents IA - Autorisation d'affichage des rambardes AI
-
Applications d'agent - Autorisation d'affichage de l'assistant Connect
Le tableau de bord est disponible à l'adresse suivante : Analyses et optimisation > Tableaux de bord analytiques > AI Agent Performance.
Spécification de la « plage de temps » et de la référence « Comparer à »
Utilisez le filtre de plage horaire pour spécifier la date et la période pour lesquelles vous souhaitez afficher les données dans le tableau de bord.
Par défaut, le tableau de bord affiche les données de la semaine dernière. Vous pouvez personnaliser la plage de temps pour afficher des données aussi récentes que les 15 dernières minutes ou remontant à 3 mois dans l'historique.
Utilisez le filtre Comparer pour sélectionner une période à laquelle comparer vos données actuelles. Cela vous permet d'identifier les tendances et de suivre les améliorations ou les problèmes au fil du temps.
Résumé des performances de l'IA en libre-service
Cette section présente l'état des interactions en libre-service initiées par votre agent AI. Il affiche les indicateurs clés suivants pour la période sélectionnée, filtrés selon le cas d'utilisation du « libre-service » :
-
Contacts impliqués dans l'IA :
Nombre total de contacts traités où les agents de l'IA ont résolu les demandes des clients sans faire appel à des agents humains.
-
Agents actifs de l'IA :
Le nombre total d'agents IA uniques, chaque agent étant identifié par sa combinaison unique de nom et de version.
-
Taux d'achèvement des réponses :
Pourcentage de sessions d'agent AI ayant réussi à répondre aux demandes entrantes.
-
Taux de transfert :
Pourcentage de contacts en libre-service gérés par des agents de l'IA marqués comme ayant besoin d'une assistance supplémentaire, y compris, mais sans s'y limiter, d'agents humains.
-
Taux de réussite des objectifs :
Proportion de sessions au cours desquelles les agents d'IA ont réussi à résoudre les problèmes des clients. La valeur est comprise entre 0 et 1, où 1 indique une résolution réussie dans toutes les sessions.
-
Score de fidélité :
La proportion de réponses des agents IA qui restent fidèles au contexte conversationnel, y compris les messages et les résultats des appels aux outils. La valeur est comprise entre 0 et 1, où 1 indique une fidélité contextuelle parfaite.
L'image suivante montre un exemple de tableau récapitulatif des performances de l'IA en libre-service.
Résumé des performances de l'IA d'assistance aux agents
Ce widget montre l'état de vos interactions assistées par des agents lorsque l'IA fournit une assistance aux agents humains. Il affiche les indicateurs clés suivants pour la période sélectionnée, filtrés par cas d'utilisation de « Agent Assistance ».
-
Contacts impliqués dans l'IA :
Nombre total de contacts où des agents de l'IA ont aidé des agents humains à résoudre les demandes des clients.
-
Agents actifs de l'IA :
Le nombre total d'agents IA uniques, chaque agent étant identifié par sa combinaison unique de nom et de version.
-
Taux d'achèvement des réponses :
Pourcentage de sessions d'agent AI ayant réussi à répondre aux demandes entrantes.
-
Taux d'engagement proactif en matière d'intention :
Pourcentage d'intentions proactives détectées auxquelles des agents humains ont cliqué.
-
Score de fidélité :
La proportion de réponses des agents IA qui restent fidèles au contexte conversationnel, y compris les messages et les résultats des appels aux outils. La valeur est comprise entre 0 et 1, où 1 indique une fidélité contextuelle parfaite.
L'image suivante montre un exemple de tableau récapitulatif des performances de l'IA en matière d'assistance aux agents.
Performances des agents IA
Ce tableau fournit une vue détaillée des performances des agents d'intelligence artificielle, du cas d'utilisation aux versions individuelles des agents et de leurs principaux indicateurs de performance.
Le tableau affiche les indicateurs de performance à deux niveaux :
-
Niveau de cas d'utilisation de l'IA :
Mesures agrégées pour toutes les versions d'agent dans un cas d'utilisation (libre-service pour le client final, assistance aux agents).
-
Niveau de version de l'agent AI :
Mesures de performance individuelles pour chaque version de l'agent.
Vous pouvez développer ou réduire les lignes de cas d'utilisation pour accéder à des versions d'agent spécifiques. Pour voir comment chaque version contribue aux performances globales des cas d'utilisation, consultez les métriques individuelles pour chaque ligne de version de l'agent.
Métriques affichées :
-
Nombre d'invocations de l'agent AI :
Nombre total de fois que la version de l'agent AI a été invoquée.
-
Taux de réussite des invocations d'agents IA :
Pourcentage d'appels d'agents d'IA exécutés avec succès.
-
Moyenne. La conversation avec un agent AI tourne :
Nombre moyen de tours de conversation que l'agent IA a pris pour parvenir à un résultat.
-
Réponse utile :
Le nombre de suggestions d'IA jugées utiles avec un coup de pouce levé.
-
Réponse peu utile :
Le nombre de suggestions d'IA considérées comme inutiles avec un pouce vers le bas.
-
Précision d'utilisation de l'outil :
Le taux d'utilisation correcte des outils par l'agent AI. La valeur est comprise entre 0 et 1, où 1 indique une utilisation parfaite.
-
Précision de sélection de l'outil :
Le taux de sélection correcte des outils par les agents d'intelligence artificielle. La valeur est comprise entre 0 et 1, où 1 indique une sélection optimale.
-
Précision des paramètres de l'outil :
Le taux d'invocations d'outils pour lesquelles les agents AI ont fourni les bons paramètres. La valeur est comprise entre 0 et 1, où 1 indique une précision parfaite des paramètres.
L'image suivante montre un exemple de tableau des performances des agents IA.
Agents IA par taux de réussite des invocations
Le graphique du taux de réussite des invocations des agents IA affiche le taux de réussite des invocations pour chaque agent IA. Vous pouvez configurer davantage ce widget en filtrant pour des agents IA spécifiques, un type d'agent AI, un cas d'utilisation de l'IA ou d'autres dimensions directement à partir de ce graphique.
L'image suivante montre un exemple de graphique du taux de réussite des invocations pour les agents IA.
Utilisation de la base de connaissances
Ce tableau fournit une vue détaillée des articles de la base de connaissances référencés par vos agents d'IA. Vous pouvez effectuer des recherches par type d'agent d'IA et par lignes d'agents d'IA pour accéder au nom spécifique de la base de connaissances et voir combien de fois une base de connaissances a été référencée par des agents d'IA.
Métriques affichées :
-
Nombre de références — Nombre de fois où l'article a été référencé par des agents de l'IA.
L'image suivante montre un exemple de tableau d'utilisation de la base de connaissances.
Tendance des performances des agents IA
La tendance des performances des agents IA est un graphique chronologique qui affiche le taux de réussite des invocations des agents IA (barres bleues), le score de fidélité (ligne rouge) et la précision d'utilisation des outils (ligne verte) sur une période donnée, répartis par intervalles (15 minutes, quotidien, hebdomadaire, mensuel). Vous pouvez configurer différents intervalles de plage de temps en utilisant le bouton « Intervalle » directement dans le widget. Les intervalles que vous pouvez sélectionner dépendent du filtre de plage de temps au niveau de la page.
Par exemple :
-
Par exemple, si vous utilisez un filtre de plage de temps « Aujourd’hui » en haut de votre tableau de bord, vous pouvez voir uniquement un intervalle de 15 minutes pour les dernières 24 heures.
-
Si vous utilisez un filtre de plage de temps « Jour » en haut de votre tableau de bord, vous pouvez voir une tendance correspondant à l’intervalle des 8 derniers jours ou une tendance correspondant à un intervalle de 15 minutes pour les 24 dernières heures.
-
Si vous avez un filtre de plage horaire « Semaine » en haut de votre tableau de bord, vous pouvez voir les tendances des intervalles quotidiens ou hebdomadaires.
-
Si vous avez un filtre de plage horaire « Mois » en haut de votre tableau de bord, vous pouvez voir les tendances des intervalles quotidiens ou mensuels.
L'image suivante montre un exemple de graphique des tendances des performances d'un agent AI.
Utilisation des outils d'IA
Ce tableau compare les implémentations d'outils (par exemple, MCP - Model Context Protocol Return-to-Control) sur les invocations, la latence moyenne et le taux de réussite des invocations, ainsi que la précision d'utilisation des outils.
Par exemple, vous pouvez sélectionner un type d'agent d'intelligence artificielle (comme Orchestration ou Answer Recommendation) et voir les performances des différents outils et de leurs versions au sein de ce type d'agent. Vous pouvez identifier les versions d'outils à optimiser en triant les colonnes en utilisant le nombre d'invocations d'outils AI, le taux de réussite des invocations d'outils AI ou le taux de réussite moyen. Latence d'invocation des outils d'IA.
Le tableau affiche les indicateurs de performance à trois niveaux :
-
Niveau de type d'agent AI :
Mesures agrégées pour tous les outils et toutes les versions d'un type d'agent.
-
Niveau de type d'outil d'IA :
Mesures agrégées pour toutes les versions d'un type d'outil spécifique.
-
Outil d'IA :
Mesures de performance individuelles pour chaque version de l'outil.
Vous pouvez développer ou réduire les lignes relatives au type d'agent AI et au type d'outil pour accéder à des versions d'outils spécifiques. Pour voir comment chaque version contribue aux performances globales du type d'outil, consultez les mesures individuelles pour chaque ligne de version d'outil.
Métriques affichées :
-
Nombre d'invocations d'outils d'IA :
Nombre total de fois que la version de l'outil AI a été invoquée.
-
Moyenne. Latence d'invocation des outils d'IA :
Latence d'appel moyenne en millisecondes pour la version de l'outil.
-
Taux de réussite des invocations des outils d'IA :
Pourcentage d'appels d'outils d'IA exécutés avec succès.
-
Précision d'utilisation de l'outil :
Le taux d'utilisation correcte des outils par l'agent AI. La valeur est comprise entre 0 et 1, où 1 indique une utilisation parfaite.
-
Précision de sélection de l'outil :
Le taux de sélection correcte des outils par les agents d'intelligence artificielle. La valeur est comprise entre 0 et 1, où 1 indique une sélection optimale.
-
Précision des paramètres de l'outil :
Le taux d'invocations d'outils pour lesquelles les agents AI ont fourni les bons paramètres. La valeur est comprise entre 0 et 1, où 1 indique une précision parfaite des paramètres.
L'image suivante montre un exemple de tableau d'utilisation des outils d'IA.
Performances rapides de l'IA
Ce tableau fournit une vue détaillée des performances rapides de l'IA. Vous pouvez développer les lignes de type d'agent AI et de type d'invite pour accéder à des versions d'invite spécifiques. Pour voir comment chaque version contribue aux performances globales du type d'invite, consultez les mesures individuelles pour chaque ligne de version d'invite.
Le tableau affiche les indicateurs de performance à trois niveaux :
-
Niveau de type d'agent AI :
Mesures agrégées pour toutes les demandes et versions pour un type d'agent AI.
-
Niveau de type d'invite AI :
Mesures agrégées pour toutes les versions d'un type d'invite d'IA spécifique.
-
Niveau de version de l'API prompt :
Mesures de performance individuelles pour chaque version d'AI prompt.
Métriques affichées :
-
Nombre d'invocations rapides par IA :
Nombre total de fois que la version de l'invite AI a été invoquée.
-
Taux de réussite des invocations rapides par IA :
Pourcentage d'appels instantanés exécutés avec succès par l'IA.
-
Moyenne. Latence d'invocation rapide de l'IA :
Latence d'appel moyenne en millisecondes pour la version AI prompt.
Outre l'utilisation des filtres de page, vous pouvez ajouter des filtres au tableau pour des agents d'IA spécifiques, des invites d'IA, des plages de temps ou d'autres dimensions.
L'image suivante montre un exemple de tableau des performances des invites AI.
Tendance en matière d'intentions proactives
Le graphique des tendances relatives aux intentions proactives montre les intentions proactives détectées (barres bleues), par rapport au taux d'engagement des intentions proactives (ligne rouge) et au taux de réponse aux intentions proactives (ligne verte) sur une période donnée, ventilés par intervalles (15 minutes, quotidien, hebdomadaire, mensuel). Vous pouvez configurer différents intervalles de plage de temps en utilisant le bouton « Intervalle » directement dans le widget. Les intervalles que vous pouvez sélectionner dépendent du filtre de plage de temps au niveau de la page.
Métriques affichées :
-
Intentions proactives détectées :
Le nombre d'intentions proactives (requêtes des clients) détectées pendant les sessions d'IA, pour les cas d'utilisation de l'assistance aux agents.
-
Taux d'engagement proactif en matière d'intention :
Pourcentage d'intentions proactives détectées sur lesquelles des agents humains ont cliqué ou ont réagi, pour les cas d'utilisation de l'assistance aux agents.
-
Taux de réponse proactif aux intentions :
Pourcentage d'intentions proactives engagées qui ont été satisfaites avec succès par les agents IA, pour les cas d'utilisation de l'assistance aux agents.
L'image suivante montre un exemple de graphique des tendances de Proactive Intents.
L'IA déclenche des demandes par latence d'invocation
Le graphique des demandes d'invitation par appel d'IA affiche la latence d'invocation moyenne en millisecondes pour chaque invite d'IA. Vous pouvez configurer davantage ce widget en filtrant les invites d'IA spécifiques, le type d'invite AI, l'agent AI, le type d'agent AI, le cas d'utilisation de l'IA ou d'autres dimensions directement à partir de ce graphique.
L'image suivante montre un exemple de diagramme de latence d'invocation basé sur l'IA.
L'IA envoie des demandes en fonction du taux de réussite des invocations
Le graphique du taux de réussite des appels d'IA par appel affiche le taux de réussite des appels pour chaque invite d'IA. Vous pouvez configurer davantage ce widget en filtrant les invites d'IA spécifiques, le type d'invite AI, l'agent AI, le type d'agent AI, le cas d'utilisation de l'IA ou d'autres dimensions directement à partir de ce graphique.
L'image suivante montre un exemple de graphique du taux de réussite des appels envoyés par l'IA.
