Implementar un modelo personalizado para inferencia bajo demanda

Después de crear un modelo personalizado con un trabajo de personalización del modelo o de importar un Amazon Nova modelo personalizado SageMaker entrenado por la IA, puede configurar la inferencia bajo demanda para el modelo. Con la inferencia bajo demanda, solo paga por lo que usa y no necesita configurar los recursos informáticos aprovisionados.

Para configurar la inferencia bajo demanda para un modelo personalizado, debe implementarla con una implementación de modelo personalizada. Tras implementar el modelo personalizado, utiliza el nombre de recurso de Amazon (ARN) de la implementación como modelId parámetro al enviar las solicitudes y generar respuestas con la inferencia del modelo.

Para obtener información sobre los precios de inferencia bajo demanda, consulte los precios de Amazon Bedrock. Puede implementar un modelo personalizado para la inferencia bajo demanda en las siguientes regiones (para obtener más información sobre las regiones compatibles con Amazon Bedrock, consulte los puntos de destino y las cuotas de Amazon Bedrock):

Modelos base compatibles

Puede configurar la inferencia bajo demanda para los siguientes modelos base: