Configuración de un recurso de invocación de modelos mediante perfiles de inferencia
Los perfiles de inferencia son un recurso de Amazon Bedrock que definen un modelo y una o más regiones a las que el perfil de inferencia puede enrutar las solicitudes de invocación del modelo. Puede utilizar los perfiles de inferencia para las siguientes tareas:
-
Realizar un seguimiento de las métricas de uso: configure los registros de CloudWatch y envíe solicitudes de invocación de modelos con un perfil de inferencia de aplicación para recopilar las métricas de uso para la invocación de modelos. Puede examinar estas métricas cuando consulte la información sobre el perfil de inferencia y utilizarlas para fundamentar sus decisiones. Para obtener más información sobre cómo configurar registros de CloudWatch, consulte Supervisión de invocación del modelo mediante Registros de CloudWatch y Amazon S3.
-
Usar etiquetas para supervisar los costos: asocie etiquetas al perfil de inferencia de aplicación para realizar un seguimiento de los costos cuando envíe solicitudes de invocación de modelos bajo demanda. Para obtener más información acerca del uso de etiquetas para la asignación de costos, consulte Organización y seguimiento de costos mediante las etiquetas de asignación de costos de AWS en la Guía del usuario de AWS Billing.
-
Inferencia entre regiones: aumente el rendimiento utilizando un perfil de inferencia que incluya varias Regiones de AWS. El perfil de inferencia distribuirá las solicitudes de invocación de modelos entre estas regiones para aumentar el rendimiento y la velocidad. Para obtener más información sobre la inferencia entre regiones, consulte Aumento del rendimiento con la inferencia entre regiones.
Amazon Bedrock ofrece los siguientes tipos de perfiles de inferencia:
-
Perfiles de inferencia entre regiones (definidos por el sistema): perfiles de inferencia que están predefinidos en Amazon Bedrock e incluyen varias regiones a las que se pueden dirigir las solicitudes de un modelo.
-
Perfiles de inferencia de aplicaciones: perfiles de inferencia que un usuario crea para realizar un seguimiento de los costos y el uso del modelo. Puede crear un perfil de inferencia que dirija las solicitudes de invocación del modelo a una o varias regiones:
-
Para crear un perfil de inferencia que haga un seguimiento de los costos y el uso de un modelo en una región, especifique el modelo fundacional de la región a la que desea que el perfil de inferencia dirija las solicitudes.
-
Para crear un perfil de inferencia que haga un seguimiento de los costos y el uso de un modelo en varias regiones, especifique el perfil de inferencia entre regiones (definido por el sistema) que defina el modelo y las regiones a las que desea que el perfil de inferencia dirija las solicitudes.
-
Puede usar perfiles de inferencia con las siguientes características para enrutar las solicitudes a varias regiones y realizar un seguimiento del uso y el costo de las solicitudes de invocación realizadas con estas características:
-
Inferencia de modelos: utilice un perfil de inferencia al ejecutar la invocación de modelos; para ello, elija un perfil de inferencia en un sitio de pruebas en la consola de Amazon Bedrock o especifique el ARN del perfil de inferencia cuando llame a las operaciones InvokeModel, InvokeModelWithResponseStream, Converse y ConverseStream. Para obtener más información, consulte Envío de solicitudes y generación de respuestas con inferencia de modelos.
-
Incrustación de vectores y generación de respuestas de la base de conocimiento: utilice un perfil de inferencia al generar una respuesta después de consultar una base de conocimiento o al analizar información no textual en un origen de datos. Para obtener más información, consulte Prueba de la base de conocimientos mediante consultas y respuestas y Opciones de análisis del origen de datos.
-
Evaluación del modelo: puede enviar un perfil de inferencia como modelo para evaluarlo al enviar un trabajo de evaluación del modelo. Para obtener más información, consulte Evaluación del rendimiento de los recursos de Amazon Bedrock.
-
Administración de peticiones: puede utilizar un perfil de inferencia al generar una respuesta para una petición que haya creado en Administración de peticiones. Para obtener más información, consulte Creación y almacenamiento de peticiones reutilizables con la administración de peticiones en Amazon Bedrock
-
Flujos: puede utilizar un perfil de inferencia al generar una respuesta para una petición definida insertada en un nodo de peticiones de un flujo. Para obtener más información, consulte Creación de un flujo de trabajo de IA generativa de extremo a extremo con Flujos de Amazon Bedrock.
El precio del uso de un perfil de inferencia se calcula en función del precio del modelo en la región desde la que se llama al perfil de inferencia. Para obtener más información acerca de los precios, consulte Precios de Amazon Bedrock
Para obtener más información sobre el rendimiento que puede ofrecer un perfil de inferencia entre regiones, consulte Aumento del rendimiento con la inferencia entre regiones.
Temas
