Comprar throughput provisionado para um modelo personalizado - Amazon Bedrock

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Comprar throughput provisionado para um modelo personalizado

Para usar um modelo personalizado com capacidade computacional dedicada e throughput garantido, você pode comprar throughput provisionado. É possível usar o modelo provisionado resultante para inferência. Para obter mais informações sobre throughput provisionado, consulte Aumentar a capacidade de invocação do modelo com throughput provisionado no Amazon Bedrock.

Console
Para comprar throughput provisionado para um modelo personalizado.

  1. Faça login no Console de gerenciamento da AWS com uma identidade do IAM que tenha permissões para usar o console Amazon Bedrock. Em seguida, abra o console Amazon Bedrock em https://console.aws.amazon.com/bedrock.

  2. No painel de navegação à esquerda, escolha Modelos personalizados em Ajustar.

  3. Na guia Modelos, escolha o botão de opção ao lado do modelo para o qual você deseja comprar throughput provisionado ou selecione o nome do modelo para navegar até a página de detalhes.

  4. Selecione Comprar throughput provisionado.

  5. Para obter mais detalhes, siga as etapas na documentação de throughput provisionado.

  6. Depois de comprar o throughput provisionado para seu modelo personalizado, siga as etapas na documentação sobre o uso de throughput provisionado.

Ao executar qualquer operação que seja compatível com o uso de modelos personalizados, você verá o modelo personalizado como uma opção no menu de seleção de modelos.

API

Para comprar a taxa de transferência provisionada para um modelo personalizado, siga as etapas na documentação da taxa de transferência provisionada para enviar uma solicitação CreateProvisionedModelThroughput(consulte o link para formatos de solicitação e resposta e detalhes do campo) com um endpoint do plano de controle Amazon Bedrock. Use o nome ou o ARN do modelo personalizado como o modelId. A resposta retorna um provisionedModelArn que você pode usar como o modelId ao fazer uma InvokeModelWithResponseStreamsolicitação InvokeModelor.

Consulte exemplos de código