Comprar throughput provisionado para um modelo personalizado - Amazon Bedrock

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Comprar throughput provisionado para um modelo personalizado

Para usar um modelo personalizado com capacidade computacional dedicada e rendimento garantido, você pode comprar o Provisioned Throughput para ele. É possível usar o modelo provisionado resultante para inferência. Para obter mais informações sobre throughput provisionado, consulte Throughput provisionado.

Console
Para comprar throughput provisionado para um modelo personalizado.

  1. Faça login no AWS Management Console com uma identidade do IAM que tenha permissões para usar o console Amazon Bedrock. Em seguida, abra o console Amazon Bedrock em https://console.aws.amazon.com/bedrock.

  2. No painel de navegação à esquerda, escolha Modelos personalizados em Modelos de base.

  3. Na guia Modelos, escolha o botão de opção ao lado do modelo para o qual você deseja comprar throughput provisionado ou selecione o nome do modelo para navegar até a página de detalhes.

  4. Selecione Comprar throughput provisionado.

  5. Para obter mais detalhes, siga as etapas na documentação da taxa de transferência provisionada.

  6. Depois de comprar a taxa de transferência provisionada para seu modelo personalizado, siga as etapas na documentação de uso da taxa de transferência provisionada.

Ao executar qualquer operação que seja compatível com o uso de modelos personalizados, você verá o modelo personalizado como uma opção no menu de seleção de modelos.

API

Para comprar a taxa de transferência provisionada para um modelo personalizado, siga as etapas na documentação da taxa de transferência provisionada para enviar uma solicitação CreateProvisionedModelThroughput(consulte o link para formatos de solicitação e resposta e detalhes do campo) com um endpoint do plano de controle Amazon Bedrock. Use o nome ou o ARN do modelo personalizado como o modelId. A resposta retorna um provisionedModelArn que você pode usar como o modelId ao fazer uma InvokeModelWithResponseStreamsolicitação InvokeModelor.

Consulte exemplos de código