Creazione di un set di dati rapido per i lavori di valutazione retrieve-and-generate RAG - Amazon Bedrock
Prepara un set di dati per un lavoro di retrieve-and-generate valutazione in cui Amazon Bedrock richiama la tua Knowledge BasePrepara un set di dati per un lavoro di retrieve-and-generate valutazione utilizzando i tuoi dati di risposta inferenziale

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Creazione di un set di dati rapido per i lavori di valutazione retrieve-and-generate RAG

Un lavoro di retrieve-and-generate valutazione richiede un set di dati rapido utilizzando il formato di righe JSON. Il set di dati può contenere un massimo di 1.000 prompt.

Prepara un set di dati per un lavoro di retrieve-and-generate valutazione in cui Amazon Bedrock richiama la tua Knowledge Base

Per creare un processo di valutazione di solo recupero in cui Amazon Bedrock invoca la knowledge base, il set di dati dei prompt deve contenere le seguenti coppie chiave-valore:

  • referenceResponses: questa chiave principale viene utilizzata per specificare la risposta con dati di ground truth che ti aspetti venga restituita da RetrieveAndGenerate. Specifica i dati di ground truth nella chiave text. referenceResponses è obbligatorio se scegli la metrica Copertura del contesto nel processo di valutazione.

  • prompt: questa chiave principale viene utilizzata per specificare il prompt (query dell’utente) a cui vuoi che il modello risponda mentre il processo di valutazione è in esecuzione.

Di seguito è riportato un esempio di set di dati personalizzati che contiene 6 input e utilizza il formato di riga JSON.

{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}

Il seguente prompt viene ampliato per chiarezza. Nel set di dati dei prompt effettivo, ogni riga (prompt) deve essere un oggetto JSON valido.

{
    "conversationTurns": [
        {
            "prompt": {
                "content": [
                    {
                        "text": "What is the recommended service interval for your product?"
                    }
                ]
            },
            "referenceResponses": [
                {
                    "content": [
                        {
                            "text": "The recommended service interval for our product is two years."
                        }
                    ]
                }
            ]
        }
    ]
}

Prepara un set di dati per un lavoro di retrieve-and-generate valutazione utilizzando i tuoi dati di risposta inferenziale

Per creare un lavoro di retrieve-and-generate valutazione in cui fornire i propri dati di risposta all'inferenza, il set di dati di prompt è un elenco di turni di conversazione e contiene quanto segue per ogni turno. Puoi valutare solo un’origine RAG per processo.

  • prompt: il prompt fornito al modello per generare i risultati.

  • referenceResponses: questa chiave principale viene utilizzata per specificare la risposta con dati di ground truth attesi per l’output finale dell’LLM dopo che quest’ultimo ha acquisito i risultati del recupero e la query di input.

  • referenceContexts (opzionale): questa chiave principale opzionale viene utilizzata per specificare i dati di ground truth che ti aspetti vengano recuperati dall’origine RAG. Devi includere questa chiave solo per utilizzarla nelle tue metriche di valutazione personalizzate. Le metriche integrate fornite da Amazon Bedrock non utilizzano questa proprietà.

  • output: l’output dell’origine RAG, che comprende quanto segue:

    • text: l’output finale dell’LLM del sistema RAG.

    • retrievedPassages: questa chiave principale viene utilizzata per specificare il contenuto recuperato dall’origine RAG.

I dati output devono includere anche la stringa knowledgeBaseIdentifier che definisce l’origine RAG utilizzata per generare le risposte di inferenza. Puoi anche includere una stringa modelIdentifier opzionale che identifica l’LLM utilizzato. Per retrievalResults e retrievedReferences, puoi fornire nomi e metadati opzionali.

Di seguito è riportato un esempio di set di dati personalizzati che contiene 6 input e utilizza il formato di riga JSON.

{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you used to generate the response"}]},"referenceResponses":[{"content":[{"text":"A ground truth for the final response generated by the LLM"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"text":"The output of the LLM","modelIdentifier":"(Optional) a string identifying your model","knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedPassages":{"retrievalResults":[{"name":"(Optional) a name for your retrieval","content":{"text":"The retrieved content"},"metadata":{"(Optional) a key for your metadata":"(Optional) a value for your metadata"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you used to generate the response"}]},"referenceResponses":[{"content":[{"text":"A ground truth for the final response generated by the LLM"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"text":"The output of the LLM","modelIdentifier":"(Optional) a string identifying your model","knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedPassages":{"retrievalResults":[{"name":"(Optional) a name for your retrieval","content":{"text":"The retrieved content"},"metadata":{"(Optional) a key for your metadata":"(Optional) a value for your metadata"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you used to generate the response"}]},"referenceResponses":[{"content":[{"text":"A ground truth for the final response generated by the LLM"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"text":"The output of the LLM","modelIdentifier":"(Optional) a string identifying your model","knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedPassages":{"retrievalResults":[{"name":"(Optional) a name for your retrieval","content":{"text":"The retrieved content"},"metadata":{"(Optional) a key for your metadata":"(Optional) a value for your metadata"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you used to generate the response"}]},"referenceResponses":[{"content":[{"text":"A ground truth for the final response generated by the LLM"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"text":"The output of the LLM","modelIdentifier":"(Optional) a string identifying your model","knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedPassages":{"retrievalResults":[{"name":"(Optional) a name for your retrieval","content":{"text":"The retrieved content"},"metadata":{"(Optional) a key for your metadata":"(Optional) a value for your metadata"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you used to generate the response"}]},"referenceResponses":[{"content":[{"text":"A ground truth for the final response generated by the LLM"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"text":"The output of the LLM","modelIdentifier":"(Optional) a string identifying your model","knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedPassages":{"retrievalResults":[{"name":"(Optional) a name for your retrieval","content":{"text":"The retrieved content"},"metadata":{"(Optional) a key for your metadata":"(Optional) a value for your metadata"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you used to generate the response"}]},"referenceResponses":[{"content":[{"text":"A ground truth for the final response generated by the LLM"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"text":"The output of the LLM","modelIdentifier":"(Optional) a string identifying your model","knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedPassages":{"retrievalResults":[{"name":"(Optional) a name for your retrieval","content":{"text":"The retrieved content"},"metadata":{"(Optional) a key for your metadata":"(Optional) a value for your metadata"}}]}}}]}

Di seguito viene illustrato il formato del set di dati dei prompt ampliato per maggiore chiarezza. Nel set di dati dei prompt effettivo, ogni riga (prompt) deve essere un oggetto JSON valido.

{
    "conversationTurns": [
        {
            "prompt": {
                "content": [
                    {
                        "text": "Provide the prompt you used to generate the responses"
                    }
                ]
            },
            "referenceResponses": [
                {
                    "content": [
                        {
                            "text": "A ground truth for the final response generated by the LLM"
                        }
                    ]
                }
            ],
            "referenceContexts": [
                {
                    "content": [
                        {
                            "text": "A ground truth for a received passage"
                        }
                    ]
                }
            ],
            "output": {
                "text": "The output of the LLM",
                "modelIdentifier": "(Optional) a string identifying your model",
                "knowledgeBaseIdentifier": "A string identifying your RAG source",
                "retrievedPassages": {
                    "retrievalResults": [
                        {
                            "name": "(Optional) a name for your retrieval",
                            "content": {
                                "text": "The retrieved content"
                            },
                            "metadata": {
                                "(Optional) a key for your metadata": "(Optional) a value for your metadata"
                            }
                        }
                    ]
                }
            }
        }
    ]
}