Implemente um modelo personalizado para inferência sob demanda - Amazon Bedrock

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Implemente um modelo personalizado para inferência sob demanda

Depois de criar um modelo personalizado com um trabalho de personalização de modelo ou importar um Amazon Nova modelo personalizado SageMaker treinado por IA, você pode configurar a inferência sob demanda para o modelo. Com a inferência sob demanda, você paga apenas pelo que usa e não precisa configurar recursos computacionais provisionados.

Para configurar a inferência sob demanda para um modelo personalizado, você a implanta com uma implantação de modelo personalizado. Depois de implantar seu modelo personalizado, você usa o Amazon Resource Name (ARN) da implantação como modelId parâmetro ao enviar solicitações e gerar respostas com inferência do modelo.

Para obter informações sobre preços de inferência sob demanda, consulte os preços do Amazon Bedrock. Você pode implantar um modelo personalizado para inferência sob demanda nas seguintes regiões (para obter mais informações sobre regiões suportadas no Amazon Bedrock, consulte endpoints e cotas do Amazon Bedrock):

  • Leste dos EUA (Norte da Virgínia)

Modelos básicos compatíveis

Você pode configurar a inferência sob demanda para os seguintes modelos básicos:

  • Amazon Nova Lite

  • Amazon Nova Micro

  • Amazon Nova Pro