Criar um conjunto de dados de prompts para trabalhos de avaliação de RAG somente de recuperação - Amazon Bedrock
Preparar um conjunto de dados para um trabalho de avaliação somente de recuperação em que o Amazon Bedrock invoca sua base de conhecimentoPreparar um conjunto de dados para um trabalho de avaliação somente de recuperação usando seus próprios dados de resposta de inferência

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Criar um conjunto de dados de prompts para trabalhos de avaliação de RAG somente de recuperação

Os trabalhos de avaliação somente de recuperação exigem um conjunto de dados de prompts que use o formato de linhas JSON. Você pode ter até mil prompts no conjunto de dados.

Preparar um conjunto de dados para um trabalho de avaliação somente de recuperação em que o Amazon Bedrock invoca sua base de conhecimento

Para criar um trabalho de avaliação somente de recuperação em que o Amazon Bedrock invoque a base de conhecimento, o conjunto de dados de prompts deve conter os seguintes pares de chave-valor:

  • referenceResponses— Essa chave principal é usada para especificar a resposta verdadeira que você esperaria que um sistema end-to-end RAG retornasse. Esse parâmetro não representa os trechos ou fragmentos esperados que você espera que sejam recuperadas da base de conhecimento. Especifique a verdade de referência na chave text. referenceResponses é necessária se você escolher a métrica de cobertura de contexto em seu trabalho de avaliação.

  • prompt: esta chave principal é usada para especificar o prompt (consulta do usuário) ao qual você deseja que o sistema de RAG responda.

Veja a seguir um exemplo de conjunto de dados personalizado que contém seis entradas e usa o formato de linha JSON.

{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}

O prompt a seguir foi expandido para aumentar a clareza. Em seu conjunto de dados de prompts real, cada linha (um prompt) deve ser um objeto JSON válido.

{
    "conversationTurns": [
        {
            "prompt": {
                "content": [
                    {
                        "text": "What is the recommended service interval for your product?"
                    }
                ]
            },
            "referenceResponses": [
                {
                    "content": [
                        {
                            "text": "The recommended service interval for our product is two years."
                        }
                    ]
                }
            ]
        }
    ]
}

Preparar um conjunto de dados para um trabalho de avaliação somente de recuperação usando seus próprios dados de resposta de inferência

Para criar um trabalho de avaliação somente de recuperação em que você fornece seus próprios dados de resposta de inferência, seu conjunto de dados de prompts deve conter o seguinte:

  • prompt: esta chave principal é usada para especificar o prompt (consulta do usuário) que você usou para gerar seus dados de resposta de inferência.

  • referenceResponses— Essa chave principal é usada para especificar a resposta verdadeira que você esperaria que um sistema end-to-end RAG retornasse. Esse parâmetro não representa os trechos ou fragmentos esperados que você espera que sejam recuperadas da base de conhecimento. Especifique a verdade de referência na chave text. referenceResponses é necessária se você escolher a métrica de cobertura de contexto em seu trabalho de avaliação.

  • referenceContexts (opcional): esta chave principal opcional é usada para especificar os trechos da verdade de referência que você espera que sejam recuperados da fonte de RAG. Você só precisa incluir esta chave se quiser usá-la em suas próprias métricas de avaliação personalizadas. As métricas integradas que o Amazon Bedrock oferece não usam essa propriedade.

  • knowledgeBaseIdentifier: uma string definida pelo cliente identificando a fonte de RAG usada para gerar os resultados da recuperação.

  • retrievedResults: um objeto JSON com uma lista de resultados de recuperação. Para cada resultado, é possível fornecer um name opcional e metadata opcionais especificados como pares de chave-valor.

Veja a seguir um exemplo de conjunto de dados personalizado que contém seis entradas e usa o formato de linha JSON.

{"conversationTurns":[{"prompt":{"content":[{"text":"The prompt you used to generate your response"}]},"referenceResponses":[{"content":[{"text":"A ground-truth response"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedResults":{"retrievalResults":[{"name":"(Optional) a name for your reference context","content":{"text":"The output from your RAG inference"},"metadata":{"(Optional) a key for your metadata":"(Optional) a metadata value"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"The prompt you used to generate your response"}]},"referenceResponses":[{"content":[{"text":"A ground-truth response"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedResults":{"retrievalResults":[{"name":"(Optional) a name for your reference context","content":{"text":"The output from your RAG inference"},"metadata":{"(Optional) a key for your metadata":"(Optional) a metadata value"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"The prompt you used to generate your response"}]},"referenceResponses":[{"content":[{"text":"A ground-truth response"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedResults":{"retrievalResults":[{"name":"(Optional) a name for your reference context","content":{"text":"The output from your RAG inference"},"metadata":{"(Optional) a key for your metadata":"(Optional) a metadata value"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"The prompt you used to generate your response"}]},"referenceResponses":[{"content":[{"text":"A ground-truth response"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedResults":{"retrievalResults":[{"name":"(Optional) a name for your reference context","content":{"text":"The output from your RAG inference"},"metadata":{"(Optional) a key for your metadata":"(Optional) a metadata value"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"The prompt you used to generate your response"}]},"referenceResponses":[{"content":[{"text":"A ground-truth response"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedResults":{"retrievalResults":[{"name":"(Optional) a name for your reference context","content":{"text":"The output from your RAG inference"},"metadata":{"(Optional) a key for your metadata":"(Optional) a metadata value"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"The prompt you used to generate your response"}]},"referenceResponses":[{"content":[{"text":"A ground-truth response"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedResults":{"retrievalResults":[{"name":"(Optional) a name for your reference context","content":{"text":"The output from your RAG inference"},"metadata":{"(Optional) a key for your metadata":"(Optional) a metadata value"}}]}}}]}

O prompt a seguir foi expandido para aumentar a clareza. Em seu conjunto de dados de prompts real, cada linha (um prompt) deve ser um objeto JSON válido.

{
  "conversationTurns": [
    {
      "prompt": {
        "content": [
          {
            "text": "What is the recommended service interval for your product?"
          }
        ]
      },
      "referenceResponses": [
        {
          "content": [
            {
              "text": "The recommended service interval for our product is two years."
            }
          ]
        }
      ],
      "referenceContexts": [
        {
          "content": [
            {
              "text": "A ground truth for a received passage"
            }
          ]
        }
      ],
       "output": {
        "knowledgeBaseIdentifier": "RAG source 1",
        "retrievedResults": {
          "retrievalResults": [
            {
              "name": "(Optional) a name for your retrieval",
              "content": {
                "text": "The recommended service interval for our product is two years."
              },
              "metadata": {
                "(Optional) a key for your metadata": "(Optional) a value for your metadata"
              }
            }
          ]
        }
      }
    }
  ]
}