Creazione di un set di dati dei prompt per i processi di valutazione RAG di solo recupero - Amazon Bedrock
Preparazione di un set di dati per un processo di valutazione di solo recupero in cui Amazon Bedrock invoca la knowledge basePreparazione di un set di dati per un processo di valutazione di solo recupero utilizzando i propri dati di risposta di inferenza

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Creazione di un set di dati dei prompt per i processi di valutazione RAG di solo recupero

Un processo di valutazione di solo recupero richiede un set di dati dei prompt strutturato in formato di riga JSON. Il set di dati può contenere un massimo di 1.000 prompt.

Preparazione di un set di dati per un processo di valutazione di solo recupero in cui Amazon Bedrock invoca la knowledge base

Per creare un processo di valutazione di solo recupero in cui Amazon Bedrock invoca la knowledge base, il set di dati dei prompt deve contenere le seguenti coppie chiave-valore:

  • referenceResponses: questa chiave principale viene utilizzata per specificare la risposta con dati di ground truth che ti aspetti venga restituita da un sistema end-to-end RAG. Questo parametro non rappresenta i passaggi o i blocchi che ti aspetti vengano recuperati dalla tua knowledge base. Specifica i dati di ground truth nella chiave text. referenceResponses è obbligatorio se scegli la metrica Copertura del contesto nel processo di valutazione.

  • prompt: questa chiave principale viene utilizzata per specificare il prompt (query dell’utente) a cui vuoi che il sistema RAG risponda.

Di seguito è riportato un esempio di set di dati personalizzati che contiene sei input e utilizza il formato di riga JSON.

{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}

Il seguente prompt viene ampliato per chiarezza. Nel set di dati dei prompt effettivo, ogni riga (prompt) deve essere un oggetto JSON valido.

{
    "conversationTurns": [
        {
            "prompt": {
                "content": [
                    {
                        "text": "What is the recommended service interval for your product?"
                    }
                ]
            },
            "referenceResponses": [
                {
                    "content": [
                        {
                            "text": "The recommended service interval for our product is two years."
                        }
                    ]
                }
            ]
        }
    ]
}

Preparazione di un set di dati per un processo di valutazione di solo recupero utilizzando i propri dati di risposta di inferenza

Per creare un processo di valutazione di solo recupero in cui fornire i propri dati di risposta di inferenza, il set di dati dei prompt deve contenere quanto segue:

  • prompt: questa chiave principale viene utilizzata per specificare il prompt (query utente) utilizzato per generare i dati di risposta di inferenza.

  • referenceResponses: questa chiave principale viene utilizzata per specificare la risposta con dati di ground truth che ti aspetti venga restituita da un sistema end-to-end RAG. Questo parametro non rappresenta i passaggi o i blocchi che ti aspetti vengano recuperati dalla tua knowledge base. Specifica i dati di ground truth nella chiave text. referenceResponses è obbligatorio se scegli la metrica Copertura del contesto nel processo di valutazione.

  • referenceContexts (opzionale): questa chiave principale opzionale viene utilizzata per specificare i dati di ground truth che ti aspetti vengano recuperati dall’origine RAG. Devi includere questa chiave solo per utilizzarla nelle tue metriche di valutazione personalizzate. Le metriche integrate fornite da Amazon Bedrock non utilizzano questa proprietà.

  • knowledgeBaseIdentifier: una stringa definita dal cliente che identifica l’origine RAG utilizzata per generare i risultati del recupero.

  • retrievedResults: un oggetto JSON con un elenco di risultati di recupero. Per ogni risultato, puoi fornire valori name e metadata opzionali specificati come coppie chiave-valore.

Di seguito è riportato un esempio di set di dati personalizzati che contiene sei input e utilizza il formato di riga JSON.

{"conversationTurns":[{"prompt":{"content":[{"text":"The prompt you used to generate your response"}]},"referenceResponses":[{"content":[{"text":"A ground-truth response"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedResults":{"retrievalResults":[{"name":"(Optional) a name for your reference context","content":{"text":"The output from your RAG inference"},"metadata":{"(Optional) a key for your metadata":"(Optional) a metadata value"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"The prompt you used to generate your response"}]},"referenceResponses":[{"content":[{"text":"A ground-truth response"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedResults":{"retrievalResults":[{"name":"(Optional) a name for your reference context","content":{"text":"The output from your RAG inference"},"metadata":{"(Optional) a key for your metadata":"(Optional) a metadata value"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"The prompt you used to generate your response"}]},"referenceResponses":[{"content":[{"text":"A ground-truth response"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedResults":{"retrievalResults":[{"name":"(Optional) a name for your reference context","content":{"text":"The output from your RAG inference"},"metadata":{"(Optional) a key for your metadata":"(Optional) a metadata value"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"The prompt you used to generate your response"}]},"referenceResponses":[{"content":[{"text":"A ground-truth response"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedResults":{"retrievalResults":[{"name":"(Optional) a name for your reference context","content":{"text":"The output from your RAG inference"},"metadata":{"(Optional) a key for your metadata":"(Optional) a metadata value"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"The prompt you used to generate your response"}]},"referenceResponses":[{"content":[{"text":"A ground-truth response"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedResults":{"retrievalResults":[{"name":"(Optional) a name for your reference context","content":{"text":"The output from your RAG inference"},"metadata":{"(Optional) a key for your metadata":"(Optional) a metadata value"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"The prompt you used to generate your response"}]},"referenceResponses":[{"content":[{"text":"A ground-truth response"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedResults":{"retrievalResults":[{"name":"(Optional) a name for your reference context","content":{"text":"The output from your RAG inference"},"metadata":{"(Optional) a key for your metadata":"(Optional) a metadata value"}}]}}}]}

Il seguente prompt viene ampliato per chiarezza. Nel set di dati dei prompt effettivo, ogni riga (prompt) deve essere un oggetto JSON valido.

{
  "conversationTurns": [
    {
      "prompt": {
        "content": [
          {
            "text": "What is the recommended service interval for your product?"
          }
        ]
      },
      "referenceResponses": [
        {
          "content": [
            {
              "text": "The recommended service interval for our product is two years."
            }
          ]
        }
      ],
      "referenceContexts": [
        {
          "content": [
            {
              "text": "A ground truth for a received passage"
            }
          ]
        }
      ],
       "output": {
        "knowledgeBaseIdentifier": "RAG source 1",
        "retrievedResults": {
          "retrievalResults": [
            {
              "name": "(Optional) a name for your retrieval",
              "content": {
                "text": "The recommended service interval for our product is two years."
              },
              "metadata": {
                "(Optional) a key for your metadata": "(Optional) a value for your metadata"
              }
            }
          ]
        }
      }
    }
  ]
}