View a markdown version of this page

Profils d’inférence d’applications - Amazon Bedrock
Comment fonctionne l'attribution des coûtsAfficher les coûts du profilConsidérations relatives à la mise à l'échelle

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Profils d’inférence d’applications

Les profils d'inférence d'applications (AIP) vous permettent d'attribuer les coûts Amazon Bedrock par application, équipe ou charge de travail pour les API Amazon Bedrock InvokeModel et Converse sur le terminal. bedrock-runtime Chaque AIP est spécifique au modèle et comporte des balises de répartition des coûts qui sont transmises à AWS Cost Explorer et aux rapports sur les AWS coûts et l'utilisation (CUR classiques et CUR 2.0).

Pour les charges de travail utilisant les réponses et la complétion des discussions sur le bedrock-mantle terminal, utilisez Projets plutôt.

Important

Les profils d'inférence des applications ne sont pas pris en charge par les API Responses et Chat Completions, sur aucun des terminaux. Une demande adressée à ces API qui désigne un profil d'inférence d'application comme cible d'inférence est rejetée avec une erreur 400. Utilisez un AIP avec les API InvokeModel et Converse, et attribuez l'utilisation des réponses et des complétions de chat avec Attribution principale de l'IAM ou à la place. Per-request balisage des métadonnées Les profils d'inférence système, géographique et global fonctionnent normalement avec toutes ces API.

Comment fonctionne l'attribution des coûts

Un profil d'inférence d'application est une ressource qui fait référence à un modèle Amazon Bedrock spécifique. Vous créez le profil, vous attachez des balises de répartition des coûts, puis vous utilisez l'ARN du profil à la place de l'ID de modèle dans vos appels d'API. Les balises du profil sont jointes à l'enregistrement de facturation pour chaque demande.

L'exemple suivant montre comment utiliser l'ARN d'un profil d'inférence d'application au lieu d'un ID de modèle lors de l'appel de l'API Converse :

import boto3

client = boto3.client("bedrock-runtime")

response = client.converse(
    modelId="arn:aws:bedrock:us-east-1:123456789012:inference-profile/my-team-profile",
    messages=[
        {"role": "user", "content": [{"text": "Hello"}]}
    ]
)

Pour plus d'informations sur la création de profils, consultezCréation d’un profil d’inférence d’application.

Note

Les profils d'inférence des applications fournissent des dollars facturés agrégés à AWS Cost Explorer et à CUR (CUR classiques et CUR 2.0). Les céréales les plus fines sont classées par type d'utilisation et par jour ; elles ne génèrent pas de coût par demande. Pour obtenir des informations détaillées sur les jetons par invite, utilisez-les Per-request balisage des métadonnées avec les journaux d'invocation de votre modèle.

Afficher les coûts du profil

Après avoir créé et balisé vos profils, activez les balises en tant que balises de répartition des coûts dans la console AWS de facturation et de gestion des coûts :

  1. Ouvrez la console de gestion de la AWS facturation et des coûts.

  2. Dans le volet de navigation, choisissez Cost allocation tags (Balises de répartition des coûts).

  3. Sélectionnez les tags que vous avez appliqués à vos profils.

  4. Choisissez Activer.

Les tags peuvent mettre jusqu'à 24 heures pour apparaître dans Cost Explorer et CUR après leur activation. Les étiquettes de répartition des coûts ne sont pas rétroactives. Seuls les frais engagés après l'activation sont marqués. Pour plus d'informations, voir Activation des balises de répartition des coûts définies par l'utilisateur.

Après l'activation des balises, vous pouvez analyser les coûts d'Amazon Bedrock par profil d'inférence d'application à l'aide des outils suivants :

  • AWS Explorateur de coûts  : filtrez par balises de profil pour visualiser l'évolution des coûts au fil du temps. Regroupez par tag pour comparer les coûts entre les profils.

  • AWS Rapports sur les coûts et l'utilisation  : interrogez les données CUR pour obtenir une ventilation des coûts par article par balise de profil. Les balises apparaissent à la fois dans les exportations CUR classiques et CUR 2.0.

Considérations relatives à la mise à l'échelle

Chaque profil d'inférence d'application est lié à un modèle spécifique. Cela signifie que vous avez besoin d'un profil distinct pour chaque combinaison unique de modèle, d'équipe et de tag set. À mesure que les organisations se développent, le nombre de profils peut augmenter rapidement, en particulier lorsque les nouvelles versions de modèles nécessitent de nouveaux profils.

Pour réduire la prolifération des profils :

  • Recommandé : à utiliser Projets pour plus de flexibilité et de facilité lors du suivi des coûts.

  • Marquez au niveau de l'équipe ou du centre de coûts plutôt que par utilisateur.

  • Pour attribuer les coûts par utilisateur sans créer de profils supplémentaires, utilisezAttribution principale de l'IAM. Le suivi principal IAM fonctionne parallèlement aux profils d'inférence des applications et attribue automatiquement les coûts au niveau de l'identité.

  • Pour obtenir le détail des jetons par invite plutôt que des dollars agrégés, utilisez-le Per-request balisage des métadonnées avec les journaux d'invocation de votre modèle. Il n'a pas besoin de ressources par modèle.