Profils d’inférence d’applications

Les profils d'inférence d'application (AIPs) vous permettent d'attribuer les coûts Amazon Bedrock par application, équipe ou charge de travail pour Amazon Bedrock InvokeModelet Converse APIs sur le terminal. bedrock-runtime Chaque AIP est spécifique au modèle et comporte des balises de répartition des coûts qui sont transmises à AWS Cost Explorer et aux rapports sur les AWS coûts et l'utilisation (CUR 2.0).

Pour les charges de travail utilisant des réponses et des terminaisons de chat sur le bedrock-mantle terminal, utilisez Projets plutôt.

Comment fonctionne l'attribution des coûts

Un profil d'inférence d'application est une ressource qui fait référence à un modèle Amazon Bedrock spécifique. Vous créez le profil, vous attachez des balises de répartition des coûts, puis vous utilisez l'ARN du profil à la place de l'ID du modèle dans vos appels d'API. Les tags du profil sont joints au dossier de facturation pour chaque demande.

L'exemple suivant montre comment utiliser l'ARN d'un profil d'inférence d'application au lieu d'un ID de modèle lors de l'appel de l'API Converse :

import boto3

client = boto3.client("bedrock-runtime")

response = client.converse(
    modelId="arn:aws:bedrock:us-east-1:123456789012:inference-profile/my-team-profile",
    messages=[
        {"role": "user", "content": [{"text": "Hello"}]}
    ]
)

Pour plus d'informations sur la création de profils, consultezCréation d’un profil d’inférence d’application.

Coûts de consultation du profil

Après avoir créé et étiqueté vos profils, activez les balises en tant que balises de répartition des coûts dans la console AWS Billing and Cost Management :

Les balises peuvent prendre jusqu'à 24 heures pour apparaître dans Cost Explorer et CUR après leur activation. Les étiquettes de répartition des coûts ne sont pas rétroactives. Seuls les frais engagés après l'activation sont étiquetés. Pour plus d'informations, consultez la section Activation des balises de répartition des coûts définies par l'utilisateur.

Après l'activation du tag, vous pouvez analyser les coûts d'Amazon Bedrock par profil d'inférence de l'application dans les outils suivants :

Considérations relatives à la mise à l'échelle

Chaque profil d'inférence d'application est lié à un modèle spécifique. Cela signifie que vous avez besoin d'un profil distinct pour chaque combinaison unique de modèle, d'équipe et de tag. À mesure que les entreprises se développent, le nombre de profils peut augmenter rapidement, en particulier lorsque les nouvelles versions du modèle nécessitent de nouveaux profils.

Pour réduire la prolifération des profils :