Création d’un jeu de données d’invite pour les tâches d’évaluation RAG de la récupération uniquement - Amazon Bedrock
Préparation d’un jeu de données pour une tâche d’évaluation de la récupération uniquement dans laquelle Amazon Bedrock invoque votre base de connaissancesPréparation d’un jeu de données pour une tâche d’évaluation de la récupération uniquement à l’aide de vos propres données de réponse d’inférence

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Création d’un jeu de données d’invite pour les tâches d’évaluation RAG de la récupération uniquement

Les tâches d’évaluation de la récupération uniquement nécessitent un jeu de données d’invite utilisant le format de lignes JSON. Votre jeu de données peut comporter jusqu’à 1 000 invites.

Préparation d’un jeu de données pour une tâche d’évaluation de la récupération uniquement dans laquelle Amazon Bedrock invoque votre base de connaissances

Pour créer une tâche d’évaluation de la récupération uniquement dans laquelle Amazon Bedrock invoque votre base de connaissances, votre jeu de données d’invite doit contenir les paires clé-valeur suivantes :

  • referenceResponses— Cette clé parent est utilisée pour spécifier la réponse fondamentale que vous attendez d'un système end-to-end RAG. Ce paramètre ne représente pas les passages ou fragments que vous vous attendez à voir récupérés de votre base de connaissances. Spécifiez la vérité fondamentale dans la clé text. referenceResponses est obligatoire si vous choisissez la métrique Couverture contextuelle dans votre tâche d’évaluation.

  • prompt : cette clé parent permet de spécifier l’invite (requête utilisateur) à laquelle vous souhaitez que le système RAG réponde.

Voici un exemple de jeu de données personnalisé qui contient 6 entrées et utilise le format de ligne JSON.

{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}

L’invite suivante est développée pour plus de clarté. Dans votre jeu de données d’invite actuel, chaque ligne (une invite) doit être un objet JSON valide.

{
    "conversationTurns": [
        {
            "prompt": {
                "content": [
                    {
                        "text": "What is the recommended service interval for your product?"
                    }
                ]
            },
            "referenceResponses": [
                {
                    "content": [
                        {
                            "text": "The recommended service interval for our product is two years."
                        }
                    ]
                }
            ]
        }
    ]
}

Préparation d’un jeu de données pour une tâche d’évaluation de la récupération uniquement à l’aide de vos propres données de réponse d’inférence

Pour créer une tâche d’évaluation de la récupération uniquement dans laquelle vous fournissez vos propres données de réponse d’inférence, votre jeu de données d’invite doit contenir les informations suivantes :

  • prompt : cette clé parent permet de spécifier l’invite (requête utilisateur) vous ayant permis de générer vos données de réponse d’inférence.

  • referenceResponses— Cette clé parent est utilisée pour spécifier la réponse fondamentale que vous attendez d'un système end-to-end RAG. Ce paramètre ne représente pas les passages ou fragments que vous vous attendez à voir récupérés de la base de connaissances. Spécifiez la vérité fondamentale dans la clé text. referenceResponses est obligatoire si vous choisissez la métrique Couverture contextuelle dans votre tâche d’évaluation.

  • referenceContexts (facultatif) : cette clé parent facultative permet de spécifier les passages de vérité fondamentale que vous vous attendez à voir récupérés de la source RAG. Vous devez inclure cette clé seulement si vous souhaitez l’utiliser dans vos propres métriques d’évaluation personnalisées. Les métriques intégrées fournies par Amazon Bedrock n’utilisent pas cette propriété.

  • knowledgeBaseIdentifier : chaîne définie par le client identifiant la source RAG permettant de générer les résultats de récupération.

  • retrievedResults : objet JSON avec une liste de résultats de récupération. Pour chaque résultat, vous pouvez fournir un name facultatif et des metadata facultatives sous forme de paires clé-valeur.

Voici un exemple de jeu de données personnalisé qui contient 6 entrées et utilise le format de ligne JSON.

{"conversationTurns":[{"prompt":{"content":[{"text":"The prompt you used to generate your response"}]},"referenceResponses":[{"content":[{"text":"A ground-truth response"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedResults":{"retrievalResults":[{"name":"(Optional) a name for your reference context","content":{"text":"The output from your RAG inference"},"metadata":{"(Optional) a key for your metadata":"(Optional) a metadata value"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"The prompt you used to generate your response"}]},"referenceResponses":[{"content":[{"text":"A ground-truth response"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedResults":{"retrievalResults":[{"name":"(Optional) a name for your reference context","content":{"text":"The output from your RAG inference"},"metadata":{"(Optional) a key for your metadata":"(Optional) a metadata value"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"The prompt you used to generate your response"}]},"referenceResponses":[{"content":[{"text":"A ground-truth response"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedResults":{"retrievalResults":[{"name":"(Optional) a name for your reference context","content":{"text":"The output from your RAG inference"},"metadata":{"(Optional) a key for your metadata":"(Optional) a metadata value"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"The prompt you used to generate your response"}]},"referenceResponses":[{"content":[{"text":"A ground-truth response"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedResults":{"retrievalResults":[{"name":"(Optional) a name for your reference context","content":{"text":"The output from your RAG inference"},"metadata":{"(Optional) a key for your metadata":"(Optional) a metadata value"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"The prompt you used to generate your response"}]},"referenceResponses":[{"content":[{"text":"A ground-truth response"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedResults":{"retrievalResults":[{"name":"(Optional) a name for your reference context","content":{"text":"The output from your RAG inference"},"metadata":{"(Optional) a key for your metadata":"(Optional) a metadata value"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"The prompt you used to generate your response"}]},"referenceResponses":[{"content":[{"text":"A ground-truth response"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedResults":{"retrievalResults":[{"name":"(Optional) a name for your reference context","content":{"text":"The output from your RAG inference"},"metadata":{"(Optional) a key for your metadata":"(Optional) a metadata value"}}]}}}]}

L’invite suivante est développée pour plus de clarté. Dans votre jeu de données d’invite actuel, chaque ligne (une invite) doit être un objet JSON valide.

{
  "conversationTurns": [
    {
      "prompt": {
        "content": [
          {
            "text": "What is the recommended service interval for your product?"
          }
        ]
      },
      "referenceResponses": [
        {
          "content": [
            {
              "text": "The recommended service interval for our product is two years."
            }
          ]
        }
      ],
      "referenceContexts": [
        {
          "content": [
            {
              "text": "A ground truth for a received passage"
            }
          ]
        }
      ],
       "output": {
        "knowledgeBaseIdentifier": "RAG source 1",
        "retrievedResults": {
          "retrievalResults": [
            {
              "name": "(Optional) a name for your retrieval",
              "content": {
                "text": "The recommended service interval for our product is two years."
              },
              "metadata": {
                "(Optional) a key for your metadata": "(Optional) a value for your metadata"
              }
            }
          ]
        }
      }
    }
  ]
}