Configurer une ressource d’invocation de modèle à l’aide de profils d’inférence

Suivi des statistiques d’utilisation : configurez les journaux CloudWatch et soumettez des demandes d’invocation de modèles à l’aide d’un profil d’inférence d’application afin de collecter des métriques d’utilisation pour l’invocation du modèle. Vous pouvez examiner ces indicateurs lorsque vous consultez les informations relatives au profil d’inférence et les utiliser pour prendre des décisions éclairées. Pour plus d’informations sur l’envoi de journaux à CloudWatch Logs, consultez Surveillez l'invocation du modèle à l'aide de CloudWatch Logs et d'Amazon S3.

Utilisez des balises pour surveiller les coûts : associez des balises à un profil d’inférence d’application pour suivre les coûts lorsque vous soumettez des demandes d’invocation de modèles à la demande. Pour plus d’informations sur l’utilisation des balises pour la répartition des coûts, consultez Organisation et suivi des coûts à l’aide des balises de répartition des coûts AWS dans le Guide de l’utilisateur AWS Billing.

Inférence interrégionale : augmentez votre débit en utilisant un profil d’inférence qui inclut plusieurs Régions AWS. Le profil d’inférence distribuera les demandes d’invocation de modèles dans ces régions afin d’augmenter le débit et les performances. Pour plus d’informations sur l’inférence interrégionale, consultez Augmentez le débit grâce à l’inférence entre régions.

Profils d’inférence interrégionale (définis par le système) : profils d’inférence prédéfinis dans Amazon Bedrock et incluant plusieurs régions vers lesquelles les demandes de modèle peuvent être acheminées.

Profils d’inférence d’applications : profils d’inférence créés par un utilisateur pour suivre les coûts et l’utilisation du modèle. Vous pouvez créer un profil d’inférence qui achemine les demandes d’invocation de modèles vers une ou plusieurs régions :

Inférence de modèle : utilisez un profil d’inférence lorsque vous lancez l’invocation de modèle en choisissant un profil d’inférence dans un terrain de jeu dans la console Amazon Bedrock, ou en spécifiant l’ARN du profil d’inférence lorsque vous appelez les opérations InvokeModel, InvokeModelWithResponseStream, Converse et ConverseStream. Pour plus d’informations, consultez Soumission d’invites et génération de réponses à l’aide de l’inférence de modèle.

Vectorisation dans la base de connaissances et génération de réponses : utilisez un profil d’inférence lorsque vous générez une réponse après avoir consulté une base de connaissances ou lorsque vous analysez des informations non textuelles dans une source de données. Pour plus d’informations, consultez Test de votre base de connaissances avec des requêtes et des réponses et Options d’analyse structurée pour votre source de données.

Évaluation du modèle : vous pouvez soumettre un profil d’inférence en tant que modèle à évaluer lorsque vous soumettez une tâche d’évaluation des modèles. Pour plus d’informations, consultez Évaluation des performances des ressources Amazon Bedrock.

Gestion des promptes : vous pouvez utiliser un profil d’inférence lorsque vous générez une réponse à une invite que vous avez créée dans la gestion des invites. Pour plus d’informations, consultez Création et stockage d’invites réutilisables avec la gestion des invites dans Amazon Bedrock.

Flux : vous pouvez utiliser un profil d’inférence lorsque vous générez une réponse à une invite que vous définissez en ligne dans un nœud d’invite d’un flux. Pour plus d’informations, consultez Création d’un flux de travail d’IA générative de bout en bout avec Amazon Bedrock Flows.