View a markdown version of this page

Observabilité de l’IA générative - Amazon CloudWatch

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Observabilité de l’IA générative

Avec Amazon CloudWatch, vous pouvez observer les charges de travail génératives liées à l'IA, y compris les AgentCore agents Amazon Bedrock, et obtenir des informations sur les performances, la santé et la précision de l'IA. CloudWatch fournit des vues préconfigurées de la latence, de l'utilisation et des erreurs de vos charges de travail d'IA, vous permettant de détecter plus rapidement les problèmes dans des composants tels que les modèles et les agents. End-to-end le suivi rapide vous permet d'identifier rapidement les problèmes liés à des composants tels que les bases de connaissances, les outils et les modèles. CloudWatchLes fonctionnalités de surveillance de l'IA sont compatibles avec les frameworks d'orchestration générative d'IA les plus populaires tels que AWS LangChain Strands LangGraph, et offrent une flexibilité quant à votre choix de framework.

CloudWatch L'observabilité générative de l'IA vous permet de :

  • Évaluez la qualité et la précision des applications d'IA à grande échelle grâce à une surveillance automatisée, en réduisant les exigences de révision manuelle en capturant les résultats des modèles, les mesures de qualité de réponse et les interactions avec les utilisateurs finaux

  • Surveiller les invocations de modèles, les agents (gérés, autohébergés et tiers), les bases de connaissances, les barrières de protection et les outils

  • Passez de l'expérimentation d'agents à la production d'applications innovantes d'IA générative tout en garantissant une qualité, des performances et une fiabilité supérieures. Pour plus d'informations, consultez Qu'est-ce qu'Amazon Bedrock ? AgentCore

  • Identifier rapidement la source des erreurs à l’aide du traçage rapide de bout en bout, des métriques sélectionnées et des journaux

  • Résolvez les problèmes liés à l'ensemble de votre application d'IA générative et à l'infrastructure sous-jacente, en tirant parti des outils CloudWatch d'observabilité existants tels que les signaux d'application, les alarmes, les tableaux de bord , la protection des données sensibles et les informations sur les journaux https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/AnalyzingLogData.html

  • Accédez à des traces rapides lorsque vous utilisez Amazon Bedrock et envoyez des traces structurées de modèles tiers à CloudWatch l'aide du SDK ADOT. Pour plus d'informations sur l'ajout d'observabilité à votre AgentCore agent ou outil Amazon Bedrock, consultez Amazon Bedrock AgentCore

CloudWatch l'observabilité générative de l'IA fournit deux fonctionnalités prédéfinies :

Note

Vous pouvez utiliser le tableau de bord Model Invocation en utilisant n'importe quel modèle d'inférence dans Amazon Bedrock.

  • Invocations de modèles  : tableau de bord de statistiques détaillé sur l'utilisation des modèles, la consommation de jetons et un tableau des journaux d'invocation organisé pour afficher le contenu détaillé des entrées et des sorties des inférences du modèle

  • AgentCore Agents Amazon Bedrock  : indicateurs de performance et de décision pour les primitives d'Amazon Bedrock AgentCore telles que les agents, la mémoire, les Built-in outils, les passerelles et l'identité

Les métriques clés disponibles dans ces tableaux de bord comprennent :

  • Nombre total et moyen d’invocations

  • Utilisation des jetons (total, moyenne par requête, entrée, sortie)

  • Latence (moyenne, P90, P99)

  • Taux d’erreur et événements de limitation

  • Attribution des coûts par application, rôle utilisateur ou utilisateur spécifique

Rubriques