Comprar um throughput provisionado para um modelo do Amazon Bedrock - Amazon Bedrock

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Comprar um throughput provisionado para um modelo do Amazon Bedrock

O Amazon Bedrock oferece dois tipos de taxa de transferência provisionada: por tokens e por unidades modelo. Consulte as instruções a seguir para saber o tipo de taxa de transferência provisionada que você deseja comprar.

Para saber mais sobre as diferenças entre os dois tipos de taxa de transferência provisionada, consulte. Aumentar a capacidade de invocação do modelo com throughput provisionado no Amazon Bedrock

Ao comprar uma taxa de transferência provisionada por unidades modelo para um modelo, você especifica o nível de comprometimento para ela e o número de unidades de modelo (MUs) a serem distribuídas. Para obter as cotas da MU, consulte Amazon Bedrock endpoints and quotas no Referência geral da AWS. Antes de comprar uma taxa de transferência provisionada (com compromisso ou sem compromisso), você deve primeiro visitar o centro de AWS suporte MUs para solicitar que sua conta seja distribuída entre as taxas de transferência provisionadas. Depois que sua solicitação for atendida, você poderá comprar uma taxa de transferência provisionada.

nota

Depois de comprar o Provisioned Throughput, se ele estiver associado a um modelo personalizado, você poderá alterar o modelo especificando uma das seguintes opções:

  • O modelo básico a partir do qual o modelo personalizado foi personalizado

  • Outro modelo personalizado que foi personalizado a partir do mesmo modelo básico do modelo personalizado

Você só pode alterar o modelo associado para taxas de transferência provisionadas associadas a um modelo personalizado.

Para saber como comprar o Provisioned Throughput para um modelo, escolha a guia do seu método preferido e siga as etapas:

Console

  1. Faça login no Console de gerenciamento da AWS com uma identidade do IAM que tenha permissões para usar o console Amazon Bedrock. Em seguida, abra o console Amazon Bedrock em https://console.aws.amazon.com/bedrock.

  2. Selecione Throughput provisionado no painel de navegação à esquerda.

  3. Na seção Throughput provisionado, escolha Comprar throughput provisionado.

  4. Na seção de Detalhes do throughput provisionado, faça o seguinte:

    1. No campo Nome do throughput provisionado, insira um nome para o throughput provisionado.

    2. Em Selecionar modelo, selecione um provedor de modelo de base ou uma categoria de modelo personalizado. Selecione o modelo para o qual provisionar o throughput.

      nota

      Para ver os modelos básicos para os quais você pode comprar o Provisioned Throughput sem compromisso, consulte a documentação dos modelos suportados.

      Na AWS GovCloud (US) região, você só pode comprar o Provisioned Throughput para modelos personalizados sem compromisso.

    3. (Opcional) Para associar tags ao throughput provisionado, expanda a seção Tags e escolha Adicionar nova tag. Para obter mais informações, consulte Marcação de recursos do Amazon Bedrock.

  5. Para o modo de provisionamento, selecione Por unidades de modelo

  6. Na seção Unidades do modelo e prazo de compromisso, faça o seguinte:

    1. Na seção Selecionar termo de compromisso, escolha o período para o qual deseja se comprometer a usar o throughput provisionado.

    2. No campo Unidades do modelo, insira o número desejado de unidades do modelo (MUs). Se você estiver provisionando um modelo com compromisso, você deve primeiro visitar o centro de AWS suporte para solicitar um aumento no número do MUs que você pode comprar.

  7. Escolha Comprar throughput provisionado .

  8. Analise a nota exibida e confirme a duração e o preço do compromisso marcando a caixa de seleção. Escolha Confirmar compra.

  9. O console exibe a página de visão geral Throughput provisionado. O status do throughput provisionado na tabela de throughput provisionado se torna Criando. Quando a criação do throughput provisionado for concluída, o Status se torna Em serviço. Se a atualização falhar, o Status será Com falha.

API

Para comprar uma taxa de transferência provisionada, envie uma CreateProvisionedModelThroughputsolicitação com um endpoint do plano de controle Amazon Bedrock.

Para saber mais sobre o conteúdo do corpo da solicitação e os parâmetros que você precisa fornecer para criar uma taxa de transferência provisionada por unidades modelo, consulte CreateProvisionedModelThroughputa Amazon Bedrock API Reference.

nota

Para ver os modelos básicos para os quais você pode comprar o Provisioned Throughput sem compromisso, consulte a documentação dos modelos suportados.

Na AWS GovCloud (US) região, você só pode comprar o Provisioned Throughput para modelos personalizados sem compromisso.

A resposta mostra um provisionedModelArn que você pode usar como modelId na inferência do modelo. Para verificar quando a taxa de transferência provisionada está pronta para uso, envie uma GetProvisionedModelThroughputsolicitação e verifique se o status é. InService Se a atualização falhar, seu status seráFailed, e a GetProvisionedModelThroughputresposta conterá umfailureMessage.

Consulte exemplos de código