Enviar prompts e gerar respostas usando a API - Amazon Bedrock

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Enviar prompts e gerar respostas usando a API

O Amazon Bedrock oferece as seguintes operações de API para realizar inferência do modelo:

  • InvokeModel: envie um prompt e gere uma resposta. O corpo da solicitação é específico ao modelo. Para gerar respostas de streaming, use InvokeModelWithResponseStream.

  • Converse: envie um prompt e gere respostas com uma estrutura unificada em todos os modelos. Os campos de solicitação específicos ao modelo podem ser indicados no campo additionalModelRequestFields. Também é possível incluir prompts do sistema e conversas anteriores para contextualizar. Para gerar respostas de streaming, use ConverseStream.

  • StartAsyncInvoke: envie um prompt e gere uma resposta assíncrona que possa ser recuperada posteriormente. Usado para gerar vídeos.

  • InvokeModelWithBidirectionalStream:

  • API Chat Completions da OpenAI: use a API Chat Completions da OpenAI com modelos compatíveis com o Amazon Bedrock para gerar uma resposta.

Para inferência do modelo, determine os seguintes parâmetros:

  • ID do modelo: o ID ou nome do recurso da Amazon (ARN) do modelo ou do perfil de inferência a ser usado no campo modelId para inferência. A seguinte tabela descreve como encontrar IDs para diferentes tipos de recurso:

    Tipo do modelo Descrição Encontrar o ID no console Encontrar o ID na API Documentação relevante
    Modelo de base Um modelo de base de um fornecedor. Escolha Modelos de base no painel de navegação à esquerda, pesquise um modelo e procure o ID do modelo. Envie uma solicitação GetFoundationModel ou ListFoundationModels e encontre o modelId na resposta. Consulte uma lista de IDs em Modelos de base compatíveis no Amazon Bedrock.
    Perfil de inferência Aumenta o throughput permitindo a invocação de um modelo em várias regiões. Escolha Inferência entre regiões no painel de navegação à esquerda e procure um ID de perfil de inferência. Envie uma solicitação GetInferenceProfile ou ListInferenceProfiles e encontre o inferenceProfileId na resposta. Consulte uma lista de IDs em Regiões e modelos que compatíveis com perfis de inferência.
    Prompt Um prompt que foi criado usando o Gerenciamento de Prompts. Escolha Gerenciamento de prompts no painel de navegação à esquerda, selecione um prompt na seção Prompts e procure o ARN do prompt. Envie uma solicitação GetPrompt ou ListPrompts e encontre o promptArn na resposta. Saiba como criar um prompt no Gerenciamento de Prompts em Construir e armazenar prompts reutilizáveis com o Gerenciamento de Prompts do Amazon Bedrock.
    Throughput provisionado Fornece um nível mais alto de throughput para um modelo a um custo fixo. No painel de navegação à esquerda, escolha Throughput provisionado, selecione um throughput provisionado e procure o ARN. Envie uma solicitação GetProvisionedModelThroughput ou ListProvisionedModelThroughputs e encontre o provisionedModelArn na resposta. Saiba como comprar um throughput provisionado para um modelo em Aumentar a capacidade de invocação do modelo com throughput provisionado no Amazon Bedrock.
    Modelo personalizado Um modelo cujos parâmetros são deslocados de um modelo de base baseado em dados de treinamento. Depois de comprar o throughput provisionado para um modelo personalizado, siga as etapas para encontrar o ID do throughput provisionado. Depois de comprar o throughput provisionado para um modelo personalizado, siga as etapas para encontrar o ID do throughput provisionado. Saiba como personalizar um modelo em Personalizar o modelo para melhorar a performance para o caso de uso. Após a personalização, compre um throughput provisionado para ele e use o ID do throughput provisionado.

  • Corpo da solicitação: contém os parâmetros de inferência para um modelo e outras configurações. Cada modelo de base tem seus próprios de parâmetros de inferência. Os parâmetros de inferência para um modelo personalizado ou provisionado dependem do modelo de base do qual ele foi criado. Para obter mais informações, consulte Parâmetros de solicitação de inferência e campos de resposta para modelos de base.

Selecione um tópico para saber como usar as APIs de invocação de modelo.

Tópicos