Membuat kumpulan data yang cepat untuk pekerjaan evaluasi retrieve-and-generate RAG - Amazon Bedrock
Siapkan kumpulan data untuk pekerjaan retrieve-and-generate evaluasi tempat Amazon Bedrock memanggil Basis Pengetahuan AndaSiapkan kumpulan data untuk pekerjaan retrieve-and-generate evaluasi menggunakan data respons inferensi Anda sendiri

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Membuat kumpulan data yang cepat untuk pekerjaan evaluasi retrieve-and-generate RAG

Pekerjaan retrieve-and-generate evaluasi memerlukan kumpulan data yang cepat menggunakan format garis JSON. Anda dapat memiliki hingga 1000 petunjuk dalam kumpulan data Anda

Siapkan kumpulan data untuk pekerjaan retrieve-and-generate evaluasi tempat Amazon Bedrock memanggil Basis Pengetahuan Anda

Untuk membuat pekerjaan evaluasi khusus pengambilan tempat Amazon Bedrock memanggil Pangkalan Pengetahuan Anda, kumpulan data prompt Anda harus berisi pasangan nilai kunci berikut:

  • referenceResponses— Kunci induk ini digunakan untuk menentukan respons kebenaran dasar yang Anda harapkan RetrieveAndGenerateakan kembali. Tentukan kebenaran dasar di text kuncinya. referenceResponsesdiperlukan jika Anda memilih metrik cakupan Konteks dalam pekerjaan evaluasi Anda.

  • prompt— Kunci induk ini digunakan untuk menentukan prompt (kueri pengguna) yang Anda ingin model merespons saat pekerjaan evaluasi sedang berjalan.

Berikut ini adalah contoh dataset kustom yang berisi 6 input dan menggunakan format baris JSON.

{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}

Prompt berikut diperluas untuk kejelasan. Dalam kumpulan data prompt Anda yang sebenarnya, setiap baris (prompt) harus berupa objek JSON yang valid.

{
    "conversationTurns": [
        {
            "prompt": {
                "content": [
                    {
                        "text": "What is the recommended service interval for your product?"
                    }
                ]
            },
            "referenceResponses": [
                {
                    "content": [
                        {
                            "text": "The recommended service interval for our product is two years."
                        }
                    ]
                }
            ]
        }
    ]
}

Siapkan kumpulan data untuk pekerjaan retrieve-and-generate evaluasi menggunakan data respons inferensi Anda sendiri

Untuk membuat pekerjaan retrieve-and-generate evaluasi di mana Anda memberikan data respons inferensi Anda sendiri, kumpulan data prompt Anda adalah daftar giliran percakapan dan berisi yang berikut untuk setiap giliran. Anda hanya dapat mengevaluasi satu sumber RAG per pekerjaan.

  • prompt— Permintaan yang Anda berikan ke model Anda untuk menghasilkan hasil.

  • referenceResponses— Kunci induk ini digunakan untuk menentukan respons kebenaran dasar yang Anda harapkan untuk keluaran akhir dari LLM Anda setelah menelan hasil pengambilan dan kueri input.

  • referenceContexts(opsional) — Kunci induk opsional ini digunakan untuk menentukan bagian kebenaran dasar yang Anda harapkan akan diambil dari sumber RAG. Anda hanya perlu menyertakan kunci ini jika Anda ingin menggunakannya dalam metrik evaluasi kustom Anda sendiri. Metrik bawaan yang disediakan Amazon Bedrock tidak menggunakan properti ini.

  • output— output dari sumber RAG Anda, yang terdiri dari yang berikut:

    • text— Output akhir dari LLM dalam sistem RAG Anda.

    • retrievedPassages— Kunci induk ini digunakan untuk menentukan konten sumber RAG Anda diambil.

outputData Anda juga harus menyertakan string knowledgeBaseIdentifier yang mendefinisikan sumber RAG yang Anda gunakan untuk menghasilkan respons inferensi. Anda juga dapat menyertakan modelIdentifier string opsional yang mengidentifikasi LLM yang Anda gunakan. Untuk retrievalResults danretrievedReferences, Anda dapat memberikan nama dan metadata opsional.

Berikut ini adalah contoh dataset kustom yang berisi 6 input dan menggunakan format baris JSON.

{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you used to generate the response"}]},"referenceResponses":[{"content":[{"text":"A ground truth for the final response generated by the LLM"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"text":"The output of the LLM","modelIdentifier":"(Optional) a string identifying your model","knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedPassages":{"retrievalResults":[{"name":"(Optional) a name for your retrieval","content":{"text":"The retrieved content"},"metadata":{"(Optional) a key for your metadata":"(Optional) a value for your metadata"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you used to generate the response"}]},"referenceResponses":[{"content":[{"text":"A ground truth for the final response generated by the LLM"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"text":"The output of the LLM","modelIdentifier":"(Optional) a string identifying your model","knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedPassages":{"retrievalResults":[{"name":"(Optional) a name for your retrieval","content":{"text":"The retrieved content"},"metadata":{"(Optional) a key for your metadata":"(Optional) a value for your metadata"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you used to generate the response"}]},"referenceResponses":[{"content":[{"text":"A ground truth for the final response generated by the LLM"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"text":"The output of the LLM","modelIdentifier":"(Optional) a string identifying your model","knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedPassages":{"retrievalResults":[{"name":"(Optional) a name for your retrieval","content":{"text":"The retrieved content"},"metadata":{"(Optional) a key for your metadata":"(Optional) a value for your metadata"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you used to generate the response"}]},"referenceResponses":[{"content":[{"text":"A ground truth for the final response generated by the LLM"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"text":"The output of the LLM","modelIdentifier":"(Optional) a string identifying your model","knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedPassages":{"retrievalResults":[{"name":"(Optional) a name for your retrieval","content":{"text":"The retrieved content"},"metadata":{"(Optional) a key for your metadata":"(Optional) a value for your metadata"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you used to generate the response"}]},"referenceResponses":[{"content":[{"text":"A ground truth for the final response generated by the LLM"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"text":"The output of the LLM","modelIdentifier":"(Optional) a string identifying your model","knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedPassages":{"retrievalResults":[{"name":"(Optional) a name for your retrieval","content":{"text":"The retrieved content"},"metadata":{"(Optional) a key for your metadata":"(Optional) a value for your metadata"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you used to generate the response"}]},"referenceResponses":[{"content":[{"text":"A ground truth for the final response generated by the LLM"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"text":"The output of the LLM","modelIdentifier":"(Optional) a string identifying your model","knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedPassages":{"retrievalResults":[{"name":"(Optional) a name for your retrieval","content":{"text":"The retrieved content"},"metadata":{"(Optional) a key for your metadata":"(Optional) a value for your metadata"}}]}}}]}

Berikut ini menunjukkan format dataset prompt diperluas untuk kejelasan. Dalam kumpulan data prompt Anda yang sebenarnya, setiap baris (prompt) harus berupa objek JSON yang valid.

{
    "conversationTurns": [
        {
            "prompt": {
                "content": [
                    {
                        "text": "Provide the prompt you used to generate the responses"
                    }
                ]
            },
            "referenceResponses": [
                {
                    "content": [
                        {
                            "text": "A ground truth for the final response generated by the LLM"
                        }
                    ]
                }
            ],
            "referenceContexts": [
                {
                    "content": [
                        {
                            "text": "A ground truth for a received passage"
                        }
                    ]
                }
            ],
            "output": {
                "text": "The output of the LLM",
                "modelIdentifier": "(Optional) a string identifying your model",
                "knowledgeBaseIdentifier": "A string identifying your RAG source",
                "retrievedPassages": {
                    "retrievalResults": [
                        {
                            "name": "(Optional) a name for your retrieval",
                            "content": {
                                "text": "The retrieved content"
                            },
                            "metadata": {
                                "(Optional) a key for your metadata": "(Optional) a value for your metadata"
                            }
                        }
                    ]
                }
            }
        }
    ]
}