Creación de conjuntos de datos de peticiones para una evaluación de RAG en Amazon Bedrock

Para evaluar la recuperación y la generación de una base de conocimiento de Amazon Bedrock o de su propio sistema de generación aumentada por recuperación (RAG), debe proporcionar un conjunto de datos de peticiones. Cuando proporciona datos de respuesta desde su propio sistema RAG, Amazon Bedrock omite el paso de invocación de la base de conocimiento y realiza el trabajo de evaluación directamente sobre sus datos.

Los conjuntos de datos de peticiones deben almacenarse en Amazon S3 y utilizar el formato de línea JSON y la extensión de archivo .jsonl. Cada línea debe ser un objeto JSON válido. Puede haber hasta 1000 peticiones en el conjunto de datos por trabajo de evaluación. Para los trabajos de evaluación de recuperación y generación, el número máximo de turnos para cada conversación es de 5. Para las evaluaciones de solo recuperación, solo puede especificar un único turno.

Para los trabajos creados con la consola, debe actualizar la configuración de uso compartido de recursos entre orígenes (CORS) en el bucket de S3. Para obtener más información sobre los permisos de CORS necesarios, consulte Permisos de uso compartido de recursos entre orígenes (CORS) requeridos en buckets de S3.

Consulte los siguientes temas para obtener más información sobre los pares de clave-valor que se requieren en función del tipo de trabajo de evaluación que seleccione.