As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Configurar inferência para um modelo personalizado
Depois de criar um modelo personalizado, você pode configurar a inferência usando uma das seguintes opções:
-
Compre taxa de transferência provisionada — Adquira taxa de transferência provisionada para seu modelo para configurar capacidade de computação dedicada com taxa de transferência garantida para desempenho consistente e menor latência.
Para obter mais informações sobre throughput provisionado, consulte Aumentar a capacidade de invocação do modelo com throughput provisionado no Amazon Bedrock. Para obter mais informações sobre o uso de modelos personalizados com taxa de transferência provisionada, consulte. Comprar throughput provisionado para um modelo personalizado
-
Implantar modelo personalizado para inferência sob demanda (somente Amazon Nova modelos) — Para configurar a inferência sob demanda, você implanta o modelo com uma implantação de modelo personalizada. Depois de implantar o modelo, você o invoca usando o ARN para a implantação do modelo personalizado. Com a inferência sob demanda, você paga apenas pelo que usa e não precisa configurar recursos computacionais provisionados.
Para obter mais informações sobre a implantação de modelos personalizados para inferência sob demanda, consulte. Implemente um modelo personalizado para inferência sob demanda
Tópicos
