Evaluación del rendimiento del modelo utilizando otro LLM como juez

Con un trabajo de evaluación de modelos que utilice un modelo de juez, Amazon Bedrock usa un LLM para puntuar las respuestas de otro modelo y proporcionar una explicación de cómo puntuó cada par de petición y respuesta. Las puntuaciones y las explicaciones están disponibles en la consola de Amazon Bedrock a través de la página Evaluaciones.

Este tipo de evaluación de modelos requiere dos modelos diferentes, un modelo generador y un modelo evaluador. Las peticiones del modelo generador se definen en un conjunto de datos y el modelo evaluador puntúa las respuestas a esas peticiones en función de las métricas que seleccione.

La tarjeta de resumen de métricas de la consola muestra un histograma con el número de veces que una respuesta recibió una puntuación determinada y las explicaciones de la puntuación de las cinco primeras peticiones encontradas en el conjunto de datos. El informe de trabajo de evaluación completo está disponible en el bucket de Amazon S3 que haya especificado al crear el trabajo de evaluación del modelo.

Al crear el trabajo de evaluación del modelo, puede seleccionar un modelo de Amazon Bedrock como modelo generador o puede evaluar un modelo que no sea de Amazon Bedrock proporcionando sus propios datos de respuesta de inferencia en el conjunto de datos de peticiones. Si proporciona sus propios datos de respuesta, Amazon Bedrock omite el paso de invocación del modelo y evalúa directamente los datos que proporciona.

Para puntuar las respuestas de los modelos generadores, Amazon Bedrock proporciona un conjunto de métricas integradas que puede seleccionar. Cada métrica utiliza una petición diferente para el modelo evaluador. También puede definir sus propias métricas personalizadas para su caso de negocio concreto. Consulte Uso de métricas para conocer el rendimiento del modelo para obtener más información.

Modelos compatibles

Modelos evaluadores compatibles (métricas integradas)

Para crear un trabajo de evaluación en el que se utilice un LLM como juez con las métricas integradas de Amazon Bedrock, necesita acceder al menos a uno de los modelos de juez de la siguiente lista. Para obtener más información sobre cómo acceder a los modelos y la disponibilidad de las regiones, consulte Acceso a los modelos fundacionales de Amazon Bedrock.

Los perfiles de inferencia entre regiones son compatibles con los modelos de la lista. Para obtener más información, consulte Perfiles de inferencia entre regiones admitidos.

Modelos evaluadores compatibles (métricas personalizadas)

Para crear un trabajo de evaluación en el que se utilice un LLM como juez con métricas personalizadas, necesita acceder al menos a uno de los modelos de juez de la siguiente lista.

Los perfiles de inferencia entre regiones son compatibles con los modelos de la lista. Para obtener más información, consulte Perfiles de inferencia entre regiones admitidos.

Modelos generadores compatibles

Puede utilizar los siguientes tipos de modelos en Amazon Bedrock como el modelo generador en un trabajo de evaluación. También puede incorporar sus propios datos de respuesta de inferencia de modelos que no son de Amazon Bedrock.