Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Observabilité de l’IA générative
Avec Amazon CloudWatch, vous pouvez observer les charges de travail génératives liées à l'IA, y compris les AgentCore agents Amazon Bedrock
CloudWatch l'observabilité générative de l'IA vous permet de :
-
Évaluez la qualité et la précision des applications d'IA à grande échelle grâce à une surveillance automatisée, en réduisant les exigences de révision manuelle en capturant les résultats du modèle, les indicateurs de qualité des réponses et les interactions avec les utilisateurs finaux
-
Surveiller les invocations de modèles, les agents (gérés, autohébergés et tiers), les bases de connaissances, les barrières de protection et les outils
-
Passer de l’expérimentation des agents à la production d’applications GenAI innovantes tout en garantissant une qualité, des performances et une fiabilité supérieures. Pour plus d'informations, consultez Qu'est-ce qu'Amazon Bedrock ? AgentCore
-
Identifiez rapidement la source des erreurs à l'aide d' end-to-endun suivi rapide, de mesures sélectionnées et de journaux
-
Résolvez les problèmes liés à l'ensemble de votre application GenAI et à votre infrastructure sous-jacente, en tirant parti des outils d' CloudWatch observabilité existants tels que les signaux d'application, les alarmes, les tableaux de bord, la protection des données sensibles et les informations sur les journaux
-
Accédez à des traces rapides lorsque vous utilisez Amazon Bedrock et envoyez des traces structurées de modèles tiers à CloudWatch l'aide du SDK ADOT. Pour plus d'informations sur l'ajout d'observabilité à votre AgentCore agent ou outil Amazon Bedrock, consultez Amazon Bedrock AgentCore
CloudWatch l'observabilité générative de l'IA fournit deux fonctionnalités prédéfinies :
Note
Vous pouvez utiliser le tableau de bord Model Invocation en utilisant n'importe quel modèle à des fins d'inférence dans Amazon Bedrock.
-
Invocations de modèles : tableau de bord détaillé des métriques sur l'utilisation du modèle, la consommation de jetons, et tableau des journaux d'invocation organisé pour afficher le contenu détaillé des entrées et sorties des inférences du modèle
-
AgentCore Agents Amazon Bedrock : indicateurs de performance et de décision pour les primitives d'Amazon Bedrock, AgentCore telles que les agents, la mémoire, les outils intégrés, les passerelles et l'identité
Les métriques clés disponibles dans ces tableaux de bord comprennent :
-
Nombre total et moyen d’invocations
-
Utilisation des jetons (total, moyenne par requête, entrée, sortie)
-
Latence (moyenne, P90, P99)
-
Taux d’erreur et événements de limitation
-
Attribution des coûts par application, rôle utilisateur ou utilisateur spécifique
