View a markdown version of this page

Invocations de modèles - Amazon CloudWatch
Activation de l’invocation de modèle dans Amazon Bedrock

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Invocations de modèles

CloudWatch L'observabilité générative de l'IA vous permet de surveiller les performances des invocations de modèles. Vous pouvez suivre des métriques telles que le nombre d’invocations, l’utilisation des jetons et les erreurs à l’aide de vues prêtes à l’emploi. Pour une visibilité détaillée du contenu des invocations, tels que les entrées et les sorties, activez la journalisation des invocations Bedrock et envoyez les journaux à. CloudWatch Pour plus d'informations, voir Configurer une destination pour CloudWatch les journaux et Aider à protéger les données sensibles des journaux en les masquant.

Activation de l’invocation de modèle dans Amazon Bedrock

Note

Vous devez activer la journalisation des invocations de modèle dans Amazon Bedrock pour afficher les invocations.

Pour activer la journalisation des invocations de modèles dans Amazon Bedrock, procédez comme suit.

  1. Ouvrez la console Amazon Bedrock à https://console.aws.amazon.com/bedrock/ l'adresse.

  2. Cliquez sur Paramètres.

  3. Sous Journalisation des invocations de modèle, sélectionnez Journalisation des invocations de modèle.

  4. Sélectionnez les types de données à inclure dans les journaux. Choisissez d'envoyer les CloudWatch journaux à Logs uniquement ou à la fois à Amazon S3 et à CloudWatch Logs si vous publiez déjà sur Amazon S3.

  5. Dans les configurations CloudWatch des journaux, créez un nom de groupe de journaux et sélectionnez les rôles de service appropriés.

  6. Sélectionnez les types de données à inclure dans les journaux.

  7. Choisissez Enregistrer les paramètres

    Vous pouvez afficher automatiquement les tableaux de bord préconfigurés lorsque vous commencez à utiliser les invocations Amazon Bedrock. Après avoir activé Model Invocation logging, vous pouvez afficher les tableaux de bord par défaut et accéder au tableau d’invocations situé en dessous.

observabilité générative de l'IA.

  • Nombre d'invocations  : nombre de demandes réussies adressées aux opérations Converse, ConverseStream InvokeModel, et API InvokeModelWithResponseStream

  • Latence d’invocation : latence des invocations

  • Nombre de jetons par modèle : nombre de jetons par modèle, délimité par le nombre de jetons en entrée et le nombre de jetons en sortie

  • Nombre quotidien de jetons par ID de modèle : nombre total quotidien de jetons par ID de modèle

  • InputTokenCount, OutputTokenCount — Nombre total de jetons en entrée et en sortie de ce compte sur certains modèles

  • Demandes, regroupées par jetons d’entrée : nombre de requêtes regroupées par jetons d’entrée en 6 plages. Chaque ligne représente le nombre de requêtes qui entrent dans une plage particulière

  • Limitations d’invocation : nombre d’invocations limitées par le système. Le nombre de limitations que vous voyez dépendra de vos paramètres de nouvelle tentative dans le kit SDK. Pour plus d'informations, voir Comportement des nouvelles tentatives dans le Guide de référence des AWS kits de développement logiciel et des outils

  • Nombre d’erreurs d’invocation : nombre d’invocations qui ont entraîné des erreurs côté serveur et côté client

Pour utiliser le tableau de bord d'invocation des modèles, procédez comme suit.

  1. Passez la souris sur n’importe quel graphique de métrique pour afficher les détails de l’invocation. Vous pouvez sélectionner l’icône Alarme pour configurer Alarms afin de surveiller la qualité et les performances de l’application.

  2. Dans le menu déroulant ModelID, vous pouvez sélectionner un ID de modèle pour afficher les métriques correspondantes.

  3. Sélectionnez Afficher dans les CloudWatch statistiques pour afficher les mesures du tableau de bord ci-dessous CloudWatch.

  4. Sélectionnez Remplacement de la période pour ajuster la période des métriques (par exemple, 1 minute, 1 heure ou 6 heures).

  5. Sous Invocations, sélectionnez ID de la requête pour afficher les détails de la requête. Vous pouvez afficher les détails d’entrée et de sortie de l’invocation du modèle dans le volet droit.

Invocation du modèle - Affichage de l'ID de la demande.

Sur la page ID de demande, dans la liste déroulante Actions, choisissez Afficher dans Logs Insights pour afficher les connexions CloudWatch. Pour plus d'informations, consultez la section Analyse des données des CloudWatch journaux avec Logs Insights.