Comprar throughput provisionado para um modelo personalizado
Para usar um modelo personalizado com capacidade computacional dedicada e throughput garantido, você pode comprar throughput provisionado. É possível usar o modelo provisionado resultante para inferência. Para obter mais informações sobre throughput provisionado, consulte Throughput provisionado.
- Console
-
Para comprar throughput provisionado para um modelo personalizado.
-
Faça login no Console de gerenciamento da AWS com uma identidade do IAM que tenha permissões para usar o console do Amazon Bedrock. Em seguida, abra o console do Amazon Bedrock em https://console.aws.amazon.com/bedrock/
. -
No painel de navegação à esquerda, escolha Modelos personalizados em Ajustar.
-
Na guia Modelos, escolha o botão de opção ao lado do modelo para o qual você deseja comprar throughput provisionado ou selecione o nome do modelo para navegar até a página de detalhes.
-
Selecione Comprar throughput provisionado.
-
Para obter mais detalhes, siga as etapas na documentação de throughput provisionado.
-
Depois de comprar o throughput provisionado para seu modelo personalizado, siga as etapas na documentação sobre o uso de throughput provisionado.
Ao executar qualquer operação que seja compatível com o uso de modelos personalizados, você verá o modelo personalizado como uma opção no menu de seleção de modelos.
-
- API
-
Para comprar throughput provisionado para um modelo personalizado, siga as etapas na documentação de throughput provisionado para enviar uma solicitação CreateProvisionedModelThroughput (consulte o link para ver os formatos de solicitação e de resposta e os detalhes do campo) com um endpoint do ambiente de gerenciamento do Amazon Bedrock. Use o nome ou o ARN do modelo personalizado como o
modelId. A resposta retorna umprovisionedModelArnque é possível usar como omodelIdao fazer uma solicitação InvokeModel ou InvokeModelWithResponseStream.
