Creación de un trabajo de evaluación de RAG en Amazon Bedrock

Puede crear un trabajo de evaluación de RAG con la Consola de administración de AWS, la AWS CLI o un SDK de AWS compatible.

Este tipo de trabajo requiere el acceso a un modelo evaluador. Si va a crear un trabajo de recuperación y generación que utiliza un modelo de Amazon Bedrock como generador de respuestas, también necesitará acceder a ese modelo. Ambos modelos deben estar disponibles en la misma Región de AWS. Para obtener una lista de los modelos generadores de respuestas y evaluadores admitidos, consulte Modelos compatibles.

Requisitos previos

Además de tener acceso a al menos un modelo evaluador, para crear un trabajo de evaluación de RAG, también necesita ciertos permisos de rol de servicio de IAM. Para obtener más información sobre las acciones necesarias y los requisitos de la política de confianza, consulte Permisos del rol de servicio necesarios para crear un trabajo de evaluación del modelos con un modelo de juez.

Al crear el trabajo, debe especificar un conjunto de datos de peticiones en un bucket de Amazon S3 y un bucket de salida en el que almacenar los resultados. Para asegurarse de que sus buckets de S3 tengan los permisos de CORS necesarios, consulte Permisos de uso compartido de recursos entre orígenes (CORS) requeridos en buckets de S3

Para crear un trabajo en la consola, la consola necesita permiso para realizar un conjunto determinado de acciones y tener acceso a los recursos necesarios. La siguiente política define un conjunto mínimo de permisos de IAM necesarios para crear un trabajo en la consola. En la política, recomendamos utilizar el elemento de política JSON de IAM Resource para limitar el acceso únicamente a los modelos y buckets necesarios para el usuario, grupo o rol de IAM.

La política de IAM debe conceder acceso a un modelo evaluador y, para trabajos de recuperación y generación que utilicen un modelo generador de respuestas de Amazon Bedrock, al generador de respuestas.