Creación de un conjunto de datos de peticiones para trabajos de evaluación de RAG de solo recuperación - Amazon Bedrock
Preparación de un conjunto de datos para un trabajo de evaluación de solo recuperación en el que Amazon Bedrock invoque su base de conocimientoPreparación de un conjunto de datos para un trabajo de evaluación de solo recuperación mediante sus propios datos de respuesta de inferencia

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Creación de un conjunto de datos de peticiones para trabajos de evaluación de RAG de solo recuperación

Los trabajos de evaluación de solo recuperación requieren un conjunto de datos de peticiones con el formato de líneas JSON. Puede tener hasta 1000 peticiones en el conjunto de datos.

Preparación de un conjunto de datos para un trabajo de evaluación de solo recuperación en el que Amazon Bedrock invoque su base de conocimiento

Para crear un trabajo de evaluación de solo recuperación en el que Amazon Bedrock invoque su base de conocimiento, el conjunto de datos de peticiones debe contener los siguientes pares de clave-valor:

  • referenceResponses— Esta clave principal se utiliza para especificar la respuesta de verdad fundamental que esperaría que devolviera un sistema end-to-end RAG. Este parámetro no representa los pasajes o fragmentos que espera recuperar de su base de conocimiento. Especifique los datos de referencia en la clave text. referenceResponses es obligatorio si elige la métrica Cobertura de contexto en su trabajo de evaluación.

  • prompt: esta clave principal se utiliza para especificar la petición (consulta del usuario) a la que desea que responda el sistema RAG.

A continuación presentamos un ejemplo de conjunto de datos personalizado que contiene 6 entradas y utiliza el formato de línea JSON.

{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}

La siguiente petición se ha ampliado para mayor claridad. En el conjunto de datos de peticiones real, cada línea (una petición) debe ser un objeto JSON válido.

{
    "conversationTurns": [
        {
            "prompt": {
                "content": [
                    {
                        "text": "What is the recommended service interval for your product?"
                    }
                ]
            },
            "referenceResponses": [
                {
                    "content": [
                        {
                            "text": "The recommended service interval for our product is two years."
                        }
                    ]
                }
            ]
        }
    ]
}

Preparación de un conjunto de datos para un trabajo de evaluación de solo recuperación mediante sus propios datos de respuesta de inferencia

Para crear un trabajo de evaluación de solo recuperación en el que proporcione sus propios datos de respuesta de inferencia, el conjunto de datos de peticiones debe contener lo siguiente:

  • prompt: esta clave principal se utiliza para especificar la petición (consulta de usuario) que utilizó para generar los datos de la respuesta de inferencia.

  • referenceResponses— Esta clave principal se utiliza para especificar la respuesta de verdad fundamental que cabría esperar que devolviera un sistema end-to-end RAG. Este parámetro no representa los pasajes o fragmentos que espera recuperar de su base de conocimiento. Especifique los datos de referencia en la clave text. referenceResponses es obligatorio si elige la métrica Cobertura de contexto en su trabajo de evaluación.

  • referenceContexts (opcional): esta clave principal opcional se utiliza para especificar los pasajes de los datos de referencia que debería recuperar el origen de RAG. Solo necesita incluir esta clave si quiere utilizarla en sus propias métricas de evaluación personalizadas. Las métricas integradas que proporciona Amazon Bedrock no utilizan esta propiedad.

  • knowledgeBaseIdentifier: una cadena definida por el cliente que identifica el origen de RAG utilizado para generar los resultados de recuperación.

  • retrievedResults: un objeto JSON con una lista de los resultados de recuperación. Para cada resultado, puede proporcionar un elemento name y un elemento metadata opcionales como pares de clave valor.

A continuación presentamos un ejemplo de conjunto de datos personalizado que contiene 6 entradas y utiliza el formato de línea JSON.

{"conversationTurns":[{"prompt":{"content":[{"text":"The prompt you used to generate your response"}]},"referenceResponses":[{"content":[{"text":"A ground-truth response"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedResults":{"retrievalResults":[{"name":"(Optional) a name for your reference context","content":{"text":"The output from your RAG inference"},"metadata":{"(Optional) a key for your metadata":"(Optional) a metadata value"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"The prompt you used to generate your response"}]},"referenceResponses":[{"content":[{"text":"A ground-truth response"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedResults":{"retrievalResults":[{"name":"(Optional) a name for your reference context","content":{"text":"The output from your RAG inference"},"metadata":{"(Optional) a key for your metadata":"(Optional) a metadata value"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"The prompt you used to generate your response"}]},"referenceResponses":[{"content":[{"text":"A ground-truth response"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedResults":{"retrievalResults":[{"name":"(Optional) a name for your reference context","content":{"text":"The output from your RAG inference"},"metadata":{"(Optional) a key for your metadata":"(Optional) a metadata value"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"The prompt you used to generate your response"}]},"referenceResponses":[{"content":[{"text":"A ground-truth response"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedResults":{"retrievalResults":[{"name":"(Optional) a name for your reference context","content":{"text":"The output from your RAG inference"},"metadata":{"(Optional) a key for your metadata":"(Optional) a metadata value"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"The prompt you used to generate your response"}]},"referenceResponses":[{"content":[{"text":"A ground-truth response"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedResults":{"retrievalResults":[{"name":"(Optional) a name for your reference context","content":{"text":"The output from your RAG inference"},"metadata":{"(Optional) a key for your metadata":"(Optional) a metadata value"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"The prompt you used to generate your response"}]},"referenceResponses":[{"content":[{"text":"A ground-truth response"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedResults":{"retrievalResults":[{"name":"(Optional) a name for your reference context","content":{"text":"The output from your RAG inference"},"metadata":{"(Optional) a key for your metadata":"(Optional) a metadata value"}}]}}}]}

La siguiente petición se ha ampliado para mayor claridad. En el conjunto de datos de peticiones real, cada línea (una petición) debe ser un objeto JSON válido.

{
  "conversationTurns": [
    {
      "prompt": {
        "content": [
          {
            "text": "What is the recommended service interval for your product?"
          }
        ]
      },
      "referenceResponses": [
        {
          "content": [
            {
              "text": "The recommended service interval for our product is two years."
            }
          ]
        }
      ],
      "referenceContexts": [
        {
          "content": [
            {
              "text": "A ground truth for a received passage"
            }
          ]
        }
      ],
       "output": {
        "knowledgeBaseIdentifier": "RAG source 1",
        "retrievedResults": {
          "retrievalResults": [
            {
              "name": "(Optional) a name for your retrieval",
              "content": {
                "text": "The recommended service interval for our product is two years."
              },
              "metadata": {
                "(Optional) a key for your metadata": "(Optional) a value for your metadata"
              }
            }
          ]
        }
      }
    }
  ]
}