Enviar prompts e gerar respostas usando a API - Amazon Bedrock

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Enviar prompts e gerar respostas usando a API

O Amazon Bedrock oferece as seguintes operações de API para realizar inferência do modelo:

  • InvokeModel— Envie uma solicitação e gere uma resposta. O corpo da solicitação é específico ao modelo. Para gerar respostas de streaming, use InvokeModelWithResponseStream.

  • Converse: envie um prompt e gere respostas com uma estrutura unificada em todos os modelos. Os campos de solicitação específicos ao modelo podem ser indicados no campo additionalModelRequestFields. Também é possível incluir prompts do sistema e conversas anteriores para contextualizar. Para gerar respostas de streaming, use ConverseStream.

  • StartAsyncInvoke— Envie uma solicitação e gere uma resposta de forma assíncrona que possa ser recuperada posteriormente. Usado para gerar vídeos.

  • InvokeModelWithBidirectionalStream –

  • API Chat Completions da OpenAI: use a API Chat Completions da OpenAI com modelos compatíveis com o Amazon Bedrock para gerar uma resposta.

nota

As restrições se aplicam às seguintes operações: InvokeModel InvokeModelWithResponseStreamConverse,, ConverseStream e. Consulte as restrições da API para obter detalhes.

Para inferência do modelo, determine os seguintes parâmetros:

  • ID do modelo: o ID ou nome do recurso da Amazon (ARN) do modelo ou do perfil de inferência a ser usado no campo modelId para inferência. A tabela a seguir descreve como encontrar IDs diferentes tipos de recursos:

    Tipo do modelo Description Encontrar o ID no console Encontrar o ID na API Documentação relevante
    Modelo de base Um modelo de base de um fornecedor. Escolha Modelos de base no painel de navegação à esquerda, pesquise um modelo e procure o ID do modelo. Envie uma ListFoundationModelssolicitação GetFoundationModelou e encontre a modelId na resposta. Veja uma lista de IDs emModelos de base compatíveis no Amazon Bedrock.
    Perfil de inferência Aumenta o throughput permitindo a invocação de um modelo em várias regiões. Escolha Inferência entre regiões no painel de navegação à esquerda e procure um ID de perfil de inferência. Envie uma ListInferenceProfilessolicitação GetInferenceProfileou e encontre a inferenceProfileId na resposta. Veja uma lista de IDs emRegiões e modelos que compatíveis com perfis de inferência.
    Prompt Um prompt que foi criado usando o Gerenciamento de Prompts. Escolha Gerenciamento de prompts no painel de navegação à esquerda, selecione um prompt na seção Prompts e procure o ARN do prompt. Envie uma ListPromptssolicitação GetPromptou e encontre a promptArn na resposta. Saiba como criar um prompt no Gerenciamento de Prompts em Construir e armazenar prompts reutilizáveis com o Gerenciamento de Prompts do Amazon Bedrock.
    Throughput provisionado Fornece um nível mais alto de throughput para um modelo a um custo fixo. No painel de navegação à esquerda, escolha Throughput provisionado, selecione um throughput provisionado e procure o ARN. Envie uma ListProvisionedModelThroughputssolicitação GetProvisionedModelThroughputou e encontre a provisionedModelArn na resposta. Saiba como comprar um throughput provisionado para um modelo em Aumentar a capacidade de invocação do modelo com throughput provisionado no Amazon Bedrock.
    Modelo personalizado Um modelo cujos parâmetros são deslocados de um modelo de base baseado em dados de treinamento. Depois de comprar o throughput provisionado para um modelo personalizado, siga as etapas para encontrar o ID do throughput provisionado. Depois de comprar o throughput provisionado para um modelo personalizado, siga as etapas para encontrar o ID do throughput provisionado. Saiba como personalizar um modelo em Personalizar o modelo para melhorar a performance para o caso de uso. Após a personalização, compre um throughput provisionado para ele e use o ID do throughput provisionado.

  • Corpo da solicitação: contém os parâmetros de inferência para um modelo e outras configurações. Cada modelo de base tem seus próprios de parâmetros de inferência. Os parâmetros de inferência para um modelo personalizado ou provisionado dependem do modelo de base do qual ele foi criado. Para obter mais informações, consulte Parâmetros de solicitação de inferência e campos de resposta para modelos de base.

Selecione um tópico para aprender a usar a APIs invocação do modelo.

Tópicos