Création d’un jeu de données d’invite pour une évaluation RAG dans Amazon Bedrock

Pour évaluer la récupération et la génération pour une base de connaissances Amazon Bedrock ou pour votre propre système de génération à enrichissement contextuel (RAG), vous fournissez un jeu de données d’invite. Lorsque vous fournissez des données de réponse à partir de votre propre système RAG, Amazon Bedrock ignore l’étape d’invocation de la base de connaissances et effectue la tâche d’évaluation directement sur vos données.

Les jeux de données d’invite doivent être stockés dans Amazon S3 et utiliser le format de ligne JSON et l’extension de fichier .jsonl. Chaque ligne doit être un objet JSON valide. Votre jeu de données peut contenir jusqu’à 1 000 invites par tâche d’évaluation. Pour les tâches d’évaluation de la récupération et de la génération, le nombre maximum de tours par conversation est de 5. Pour les évaluations de la récupération uniquement, vous ne pouvez spécifier qu’un seul tour.

Pour les tâches créées à l’aide de la console, vous devez mettre à jour la configuration CORS (Cross Origin Resource Sharing) sur le compartiment S3. Pour en savoir plus sur les autorisations CORS nécessaires, consultez Autorisation CORS (Cross Origin Resource Sharing) nécessaire sur les compartiments S3.

Consultez les rubriques suivantes pour en savoir plus sur les paires clé-valeur requises en fonction du type de tâche d’évaluation que vous sélectionnez.