Comprar throughput provisionado para um modelo personalizado - Amazon Bedrock

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Comprar throughput provisionado para um modelo personalizado

Para usar um modelo personalizado com capacidade computacional dedicada e rendimento garantido, você pode comprar o Provisioned Throughput para ele. É possível usar o modelo provisionado resultante para inferência. Para obter mais informações sobre throughput provisionado, consulte Aumentar a capacidade de invocação do modelo com throughput provisionado no Amazon Bedrock.

Console
Para comprar throughput provisionado para um modelo personalizado.

  1. Faça login no AWS Management Console com uma identidade do IAM que tenha permissões para usar o console Amazon Bedrock. Em seguida, abra o console Amazon Bedrock em https://console.aws.amazon.com/bedrock/.

  2. No painel de navegação à esquerda, escolha Modelos personalizados em Modelos de base.

  3. Na guia Modelos, escolha o botão de opção ao lado do modelo para o qual você deseja comprar throughput provisionado ou selecione o nome do modelo para navegar até a página de detalhes.

  4. Selecione Comprar throughput provisionado.

  5. Para obter mais detalhes, consulte as etapas em Comprar um throughput provisionado para um modelo do Amazon Bedrock.

  6. Depois de comprar throughput provisionado para o modelo personalizado, siga as etapas em Usar throughput provisionado com um recurso do Amazon Bedrock.

Ao executar qualquer operação que seja compatível com o uso de modelos personalizados, você verá o modelo personalizado como uma opção no menu de seleção de modelos.

API

Para comprar o Provisioned Throughput para um modelo personalizado, siga as etapas em Comprar um throughput provisionado para um modelo do Amazon Bedrock para enviar uma solicitação CreateProvisionedModelThroughput(consulte o link para formatos de solicitação e resposta e detalhes do campo) com um endpoint do plano de controle Amazon Bedrock. Use o nome ou o ARN do modelo personalizado como o modelId. A resposta retorna um provisionedModelArn que você pode usar como o modelId ao fazer uma InvokeModelWithResponseStreamsolicitação InvokeModelor.

Consulte exemplos de código