Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Utiliser un profil d'inférence lors de l'invocation du modèle
Vous pouvez utiliser un profil d'inférence interrégional à la place d'un modèle de base pour acheminer les demandes vers plusieurs régions. Pour suivre les coûts et l'utilisation d'un modèle, dans une ou plusieurs régions, vous pouvez utiliser un profil d'inférence d'application. Pour savoir comment utiliser un profil d'inférence lors de l'exécution d'une inférence de modèle, choisissez l'onglet correspondant à votre méthode préférée, puis suivez les étapes suivantes :
- Console
-
Pour utiliser un profil d'inférence avec une fonctionnalité qui le prend en charge, procédez comme suit :
-
Connectez-vous au AWS Management Console avec une identité IAM autorisée à utiliser la console Amazon Bedrock. Ouvrez ensuite la console Amazon Bedrock à https://console.aws.amazon.com/bedrock/
l'adresse. -
Accédez à la page de la fonctionnalité pour laquelle vous souhaitez utiliser un profil d'inférence. Par exemple, sélectionnez Chat/Text playground dans le volet de navigation de gauche.
-
Choisissez Sélectionner un modèle, puis choisissez le modèle. Par exemple, choisissez Amazon puis Nova Premier.
-
Sous Inférence, sélectionnez Profils d'inférence dans le menu déroulant.
-
Sélectionnez le profil d'inférence à utiliser (par exemple, US Nova Premier), puis choisissez Appliquer.
-
- API
-
Vous pouvez utiliser un profil d'inférence lorsque vous exécutez une inférence à partir de n'importe quelle région qui y est incluse avec les opérations d'API suivantes :
-
InvokeModelou InvokeModelWithResponseStream— Pour utiliser un profil d'inférence lors de l'invocation d'un modèle, suivez les étapes décrites dans le champ Soumettez une seule invite avec InvokeModel et spécifiez l'Amazon Resource Name (ARN) du profil d'inférence.
modelIdPour un exemple, voir Utiliser un profil d'inférence lors de l'invocation d'un modèle. -
Converse ou ConverseStream: pour utiliser un profil d'inférence lors de l'invocation d'un modèle avec l'ConverseAPI, suivez les étapes décrites dans le Mener une conversation avec les opérations de l'ConverseAPI champ et spécifiez l'ARN du profil d'inférence.
modelIdPour un exemple, voir Utiliser un profil d'inférence dans une conversation. -
RetrieveAndGenerate— Pour utiliser un profil d'inférence lors de la génération de réponses à partir des résultats d'une requête dans une base de connaissances, suivez les étapes indiquées dans l'onglet API Testez votre base de connaissances à l'aide de requêtes et de réponses et spécifiez l'ARN du profil d'inférence dans le champ.
modelArnPour plus d'informations, voir Utiliser un profil d'inférence pour générer une réponse. -
CreateEvaluationJob— Pour soumettre un profil d'inférence à des fins d'évaluation du modèle, suivez les étapes de l'onglet API Démarrage d'une tâche d'évaluation automatique de modèles dans Amazon Bedrock et spécifiez l'ARN du profil d'inférence dans le
modelIdentifierchamp. -
CreatePrompt— Pour utiliser un profil d'inférence lors de la génération d'une réponse à une invite que vous créez dans Prompt Management, suivez les étapes indiquées dans l'onglet API Création d'une invite à l'aide de la gestion rapide et spécifiez l'ARN du profil d'inférence dans le
modelIdchamp. -
CreateFlow— Pour utiliser un profil d'inférence lors de la génération d'une réponse à une invite en ligne que vous définissez dans un nœud d'invite d'un flux, suivez les étapes décrites dans l'onglet API de. Création et conception d'un flux dans Amazon Bedrock Lors de la définition du nœud d'invite, spécifiez l'ARN du profil d'inférence dans le
modelIdchamp. -
CreateDataSource— Pour utiliser un profil d'inférence lors de l'analyse d'informations non textuelles dans une source de données, suivez les étapes décrites dans la section API et Options d'analyse pour votre source de données spécifiez l'ARN du profil d'inférence dans le champ.
modelArn
Note
Si vous utilisez un profil d'inférence entre régions (défini par le système), vous pouvez utiliser l'ARN ou l'ID du profil d'inférence.
-
