Invocations de modèles - Amazon CloudWatch
Activation de l’invocation de modèle dans Amazon Bedrock

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Invocations de modèles

CloudWatch l'observabilité générative de l'IA vous permet de surveiller les performances des invocations de modèles. Vous pouvez suivre des indicateurs tels que le nombre d'appels, l'utilisation des jetons et les erreurs à l'aide des out-of-box vues. Pour une visibilité détaillée du contenu des appels, tel que les entrées et les sorties, activez la journalisation des invocations dans Bedrock et envoyez les journaux à. CloudWatch Pour plus d'informations, consultez Configurer une destination pour CloudWatch les journaux et Aider à protéger les données de journal sensibles grâce au masquage.

Activation de l’invocation de modèle dans Amazon Bedrock

Note

Vous devez activer la journalisation des invocations de modèle dans Amazon Bedrock pour afficher les invocations.

Pour activer la journalisation des appels de modèles dans Amazon Bedrock, procédez comme suit.

  1. Ouvrez la console Amazon Bedrock à https://console.aws.amazon.com/bedrock/l'adresse.

  2. Cliquez sur Paramètres.

  3. Sous Journalisation des invocations de modèle, sélectionnez Journalisation des invocations de modèle.

  4. Sélectionnez les types de données à inclure dans les journaux. Choisissez d'envoyer les CloudWatch journaux à Logs uniquement ou à Amazon S3 et CloudWatch Logs si vous publiez déjà sur Amazon S3.

  5. Dans les configurations CloudWatch des journaux, créez un nom de groupe de journaux et sélectionnez les rôles de service appropriés.

  6. Sélectionnez les types de données à inclure dans les journaux.

  7. Choisissez Enregistrer les paramètres

    Vous pouvez afficher automatiquement les tableaux de bord préconfigurés lorsque vous commencez à utiliser les invocations Amazon Bedrock. Après avoir activé Model Invocation logging, vous pouvez afficher les tableaux de bord par défaut et accéder au tableau d’invocations situé en dessous.

observabilité de l’IA générative

  • Nombre d'invocations : nombre de demandes réussies aux opérations Converse, ConverseStreamInvokeModel, et API InvokeModelWithResponseStream

  • Latence d’invocation : latence des invocations

  • Nombre de jetons par modèle : nombre de jetons par modèle, délimité par le nombre de jetons en entrée et le nombre de jetons en sortie

  • Nombre quotidien de jetons par ID de modèle : nombre total quotidien de jetons par ID de modèle

  • InputTokenCount, OutputTokenCount — Nombre total de jetons en entrée et en sortie de ce compte sur les modèles sélectionnés

  • Demandes, regroupées par jetons d’entrée : nombre de requêtes regroupées par jetons d’entrée en 6 plages. Chaque ligne représente le nombre de requêtes qui entrent dans une plage particulière

  • Limitations d’invocation : nombre d’invocations limitées par le système. Le nombre de limitations que vous voyez dépendra de vos paramètres de nouvelle tentative dans le kit SDK. Pour plus d'informations, voir Comportement de nouvelle tentative dans le guide de référence AWS SDKs et Tools

  • Nombre d’erreurs d’invocation : nombre d’invocations qui ont entraîné des erreurs côté serveur et côté client

Pour utiliser le modèle de tableau de bord d'invocation, procédez comme suit.

  1. Passez la souris sur n’importe quel graphique de métrique pour afficher les détails de l’invocation. Vous pouvez sélectionner l’icône Alarme pour configurer Alarms afin de surveiller la qualité et les performances de l’application.

  2. Dans le menu déroulant ModelID, vous pouvez sélectionner un ID de modèle pour afficher les métriques correspondantes.

  3. Sélectionnez Afficher dans CloudWatch les métriques pour afficher les métriques du tableau de bord ci-dessous CloudWatch.

  4. Sélectionnez Remplacement de la période pour ajuster la période des métriques (par exemple, 1 minute, 1 heure ou 6 heures).

  5. Sous Invocations, sélectionnez ID de la requête pour afficher les détails de la requête. Vous pouvez afficher les détails d’entrée et de sortie de l’invocation du modèle dans le volet droit.

Invocation du modèle – Vue ID de la requête

Sur la page Request ID, sous le menu déroulant Actions, choisissez View in Logs Insights pour afficher les connexions CloudWatch. Pour plus d'informations, consultez la section Analyse des données des CloudWatch journaux avec Logs Insights.