Usar throughput provisionado com um recurso do Amazon Bedrock - Amazon Bedrock

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Usar throughput provisionado com um recurso do Amazon Bedrock

Depois de comprar uma taxa de transferência provisionada, você pode usá-la com os seguintes recursos:

  • Inferência de modelo — Você pode testar a taxa de transferência provisionada em um playground do console Amazon Bedrock. Quando tudo estiver pronto para implantar o throughput provisionado, configure a aplicação para invocar o modelo provisionado. Escolha a guia correspondente ao método de sua preferência e siga as etapas:

    Console
    Como usar throughput provisionado no playground do console do Amazon Bedrock

    1. Faça login no Console de gerenciamento da AWS com uma identidade do IAM que tenha permissões para usar o console Amazon Bedrock. Em seguida, abra o console Amazon Bedrock em https://console.aws.amazon.com/bedrock.

    2. No painel de navegação à esquerda, selecione Chat, Texto ou Imagem em Playgrounds, dependendo do caso de uso.

    3. Escolha Selecionar modelo.

    4. Em 1. Coluna Categoria, selecione um provedor ou uma categoria de modelo personalizado. Em 2. Coluna Modelo, selecione o modelo ao qual o throughput provisionado está associado.

    5. Em 3. Coluna Throughput, selecione o throughput provisionado.

    6. Selecione Aplicar.

    Para saber como usar os playgrounds do Amazon Bedrock, consulte Gerar respostas no console usando playgrounds.

    API

    Para executar inferência usando uma taxa de transferência provisionada, envie um InvokeModelInvokeModelWithResponseStream, Converse ou uma solicitação ConverseStreamcom um endpoint de tempo de execução do Amazon Bedrock. Especifique o ARN do modelo provisionado como o parâmetro modelId. Para ver os requisitos do corpo da solicitação para modelos diferentes, consulte Parâmetros de solicitação de inferência e campos de resposta para modelos de base.

    Consulte exemplos de código

  • Associar um throughput provisionado a um alias de agente: é possível associar um throughput provisionado ao criar ou atualizar um alias de agente. No console do Amazon Bedrock, escolha o throughput provisionado ao configurar o alias ou editá-lo. Na API do Amazon Bedrock, você especifica o provisionedThroughput no routingConfiguration quando envia uma solicitação CreateAgentAliasou UpdateAgentAlias;.