Soumission des invites et génération des réponses à l’aide de l’API - Amazon Bedrock

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Soumission des invites et génération des réponses à l’aide de l’API

Amazon Bedrock propose les opérations d’API suivantes pour effectuer l’inférence de modèles :

  • InvokeModel : soumettez une invite et générez une réponse. Le corps de la demande est spécifique au modèle. Pour générer des réponses en streaming, utilisez InvokeModelWithResponseStream.

  • Converse : envoyez une invite et générez des réponses avec une structure unifiée pour tous les modèles. Les champs de demande spécifiques au modèle peuvent être spécifiés dans le champ additionalModelRequestFields. Vous pouvez également inclure les invites du système et les conversations précédentes pour le contexte. Pour générer des réponses en streaming, utilisez ConverseStream.

  • StartAsyncInvoke : soumettez une invite et générez une réponse de manière asynchrone qui pourra être récupérée ultérieurement. Utilisé pour générer des vidéos.

  • InvokeModelWithBidirectionalStream :

  • API OpenAI Chat Completions : utilisez l’API OpenAI Chat Completions avec les modèles pris en charge par Amazon Bedrock pour générer une réponse.

Pour l’inférence de modèle, vous devez déterminer les paramètres suivants :

  • ID de modèle : ID ou Amazon Resource Name (ARN) du modèle ou du profil d’inférence à utiliser dans le champ modelId pour l’inférence. Le tableau suivant décrit comment rechercher des ID pour différents types de ressources :

    Type de modèle Description Rechercher un ID dans la console Rechercher un ID dans l’API Documentation utile
    Modèle de base Modèle de fondation proposé par un fournisseur. Choisissez Modèles de base dans le volet de navigation de gauche, recherchez un modèle et recherchez l’ID du modèle. Envoyez une demande GetFoundationModel ou ListFoundationModels et recherchez le modelId dans la réponse. Consultez une liste des ID dans Modèles de fondation pris en charge dans Amazon Bedrock.
    Profil d’inférence Augmente le débit en autorisant l’invocation d’un modèle dans plusieurs régions. Choisissez Inférence interrégionale dans le volet de navigation de gauche et recherchez un ID de profil d’inférence. Envoyez une demande GetInferenceProfile ou ListInferenceProfiles et recherchez inferenceProfileId dans la réponse. Consultez une liste des ID dans Régions et modèles pris en charge pour les profils d'inférence.
    Invite Invite créée à l’aide de la gestion des invites. Choisissez Gestion des invites dans le volet de navigation de gauche, sélectionnez une invite dans la section Invites et recherchez l’ARN de l’invite. Envoyez une demande GetPrompt ou ListPrompts et recherchez promptArn dans la réponse. Découvrez comment créer une invite dans la gestion des invites dans Création et stockage d’invites réutilisables avec la gestion des invites dans Amazon Bedrock.
    Débit provisionné Fournit un niveau de débit supérieur pour un modèle à un coût fixe. Choisissez Débit provisionné dans le volet de navigation de gauche, sélectionnez un débit provisionné et recherchez l’ARN. Envoyez une demande GetProvisionedModelThroughput ou ListProvisionedModelThroughputs et recherchez provisionedModelArn dans la réponse. Découvrez comment acheter un débit provisionné pour un modèle dans Augmentez la capacité d'invocation des modèles grâce au débit provisionné dans Amazon Bedrock.
    Modèle personnalisé Modèle dont les paramètres sont décalés par rapport à un modèle de fondation basé sur les données d’entraînement. Après avoir acheté le débit provisionné pour un modèle personnalisé, suivez les étapes pour rechercher l’ID du débit provisionné. Après avoir acheté le débit provisionné pour un modèle personnalisé, suivez les étapes pour rechercher l’ID du débit provisionné. Découvrez comment personnaliser un modèle dans Personnalisation de votre modèle pour améliorer ses performances en fonction de votre cas d’utilisation. Après la personnalisation, vous devez acheter le débit provisionné pour celui-ci et utiliser l’ID du débit provisionné.

  • Corps de la demande : contient les paramètres d’inférence pour un modèle et d’autres configurations. Chaque modèle de base possède son propre ensemble de paramètres d’inférence. Les paramètres d’inférence d’un modèle personnalisé ou provisionné dépendent du modèle de base à partir duquel il a été créé. Pour plus d’informations, consultez Paramètres de demande d’inférence et champs de réponse pour les modèles de fondation.

Sélectionnez une rubrique pour savoir comment utiliser les API d’invocation de modèles.

Rubriques