Implementar un modelo personalizado para inferencia bajo demanda

Tras crear un modelo personalizado con un trabajo de personalización de modelos o importar un modelo de Amazon Nova personalizado entrenado por SageMaker AI, puede configurar la inferencia bajo demanda para el modelo. Con la inferencia bajo demanda, solo paga por lo que utiliza y no necesita configurar recursos de computación aprovisionados.

Para configurar la inferencia bajo demanda para un modelo personalizado, debe implementar el modelo con una implementación de modelo personalizado. Tras implementar el modelo personalizado, se utiliza el Nombre de recurso de Amazon (ARN) de la implementación como el parámetro modelId al enviar las peticiones y generar respuestas con la inferencia del modelo.

Para obtener más información sobre los precios de la inferencia bajo demanda, consulte Precios de Amazon Bedrock. Puede implementar un modelo personalizado para la inferencia bajo demanda en las siguientes regiones (para obtener más información sobre las regiones compatibles con Amazon Bedrock, consulte Puntos de conexión y cuotas de Amazon Bedrock):

Modelos básicos compatibles

Puede configurar la inferencia bajo demanda para los siguientes modelos: