View a markdown version of this page

Membuat prompt untuk metrik kustom - Amazon Bedrock
Konstruksi yang cepat dan praktik terbaikMenentukan skema keluaran (skala peringkat)Membuat file JSON untuk membuat metrik khusus

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Membuat prompt untuk metrik kustom

Dengan pekerjaan evaluasi RAG, Anda dapat membuat metrik Anda sendiri untuk mengkarakterisasi kinerja model dengan lebih baik untuk kasus bisnis khusus Anda. Anda dapat menentukan hingga 10 metrik khusus untuk setiap pekerjaan evaluasi.

Untuk membuat metrik evaluasi kustom Anda sendiri, Anda perlu memberikan yang berikut:

  • Prompt yang berisi instruksi terperinci untuk model hakim untuk digunakan

  • Model evaluator yang ingin Anda gunakan untuk metrik kustom Anda

Anda juga dapat menentukan sistem penilaian (skema keluaran) yang dapat digunakan model evaluator untuk menilai output sistem RAG.

Bagian berikut menjelaskan cara membuat prompt untuk model evaluator Anda saat menggunakan metrik khusus, termasuk praktik terbaik. Mereka juga menentukan skema yang akan digunakan jika Anda membuat metrik menggunakan file JSON.

Untuk mempelajari cara membuat pekerjaan evaluasi dengan metrik khusus menggunakan prompt Anda, lihat Membuat pekerjaan evaluasi RAG khusus pengambilan menggunakan metrik khusus danMembuat pekerjaan evaluasi RAG pengambilan dan hasilkan menggunakan metrik khusus.

Konstruksi yang cepat dan praktik terbaik

Saat membuat prompt untuk metrik khusus, Anda harus menyusun prompt dengan elemen-elemen berikut:

  1. Definisi peran (opsional) - menginstruksikan model evaluator untuk mengadopsi identitas atau peran tertentu

  2. Deskripsi tugas — memberikan instruksi terperinci tentang tugas evaluasi

  3. Kriteria dan rubrik (opsional) - memberikan pedoman penilaian terperinci dan rubrik untuk evaluasi

  4. Variabel input — mendefinisikan variabel yang akan dievaluasi seperti prompt dan respons

Sertakan elemen-elemen ini dalam prompt Anda dalam urutan yang diberikan dalam daftar. Bagian berikut menjelaskan masing-masing elemen ini secara lebih rinci.

Definisi peran

Memberikan definisi peran adalah opsional, tetapi menyediakannya dapat membantu membingkai evaluasi. Misalnya, jika Anda membuat metrik untuk mengevaluasi gaya prosa output akhir sistem RAG, Anda dapat mempertimbangkan untuk menggunakan peran seperti “tutor menulis”. Peran seperti “pemeriksa akurasi faktual” atau “ahli materi pelajaran” mungkin juga sesuai tergantung pada tujuan evaluasi Anda.

Jika Anda memilih untuk menyertakan definisi peran, itu harus menjadi bagian pertama dari prompt Anda. Berikut ini menunjukkan contoh definisi peran.

contoh definisi peran
You are a professional editor who is familiar with the requirements of commonly-used style manuals.

Definisi tugas

Definisi tugas adalah bagian terpenting dari prompt Anda dan mendefinisikan tugas yang Anda ingin model evaluator Anda lakukan. Definisi tugas Anda harus memberikan instruksi terperinci tentang tugas evaluasi (kami merekomendasikan minimal 15 kata), dan spesifik tentang aspek apa yang harus difokuskan dan bagaimana menyusun evaluasi.

Definisi tugas Anda harus datang langsung setelah definisi peran Anda, jika Anda memilih untuk menyertakannya.

Untuk panduan lebih umum tentang cara menyusun permintaan untuk LLM, lihatDesain prompt.

Contoh berikut menunjukkan definisi tugas untuk metrik yang berfokus pada kepatuhan respons sistem RAG terhadap panduan gaya tertentu.

contoh definisi tugas
You are provided a prompt and a response from a RAG system.
The prompt asks the RAG system to follow the Chicago Manual of Style when generating its responses. 
Your task is to assess how closely the text in the response adheres to the style guide.
Focus in particular on grammar, prose style, and citation requirements.

Kriteria dan rubrik

Bagian ini bersifat opsional, dan dapat digunakan untuk menentukan beberapa rubrik evaluasi atau memberikan pedoman penilaian terperinci untuk metrik tersebut. Bagian ini harus ditambahkan antara definisi tugas dan variabel input. Contoh berikut menunjukkan rubrik evaluasi dan pedoman penilaian untuk tugas yang diberikan dalam contoh definisi tugas yang disediakan. Anda dapat menyertakan salah satu atau kedua jenis informasi ini di bagian prompt Anda ini.

contoh rubrik evaluasi
When evaluating the response quality, consider the following:
- Grammar: Does the grammar in the response follow the requirements of the style guide
- Style consistency: Does the response maintain consistent capitalization, punctuation, and paragraph formatting
- Citations: Does the response use the correct citation style for in-text citations and endnotes
contoh pedoman penilaian
Please rate the quality of the response on the following scale:
- Poor: Response includes errors in citation, grammar, or usage
- Acceptable: Response includes only minor formatting errors
- Good: Response meets all requirements of the style guide

Saat Anda membuat pekerjaan evaluasi yang menggunakan LLM sebagai juri, baik di Konsol Manajemen AWS atau menggunakan AWS CLI atau salah satu AWS SDK, Anda dapat menentukan skema keluaran untuk Amazon Bedrock untuk menilai respons dari model generator Anda. Pastikan bahwa setiap definisi yang Anda tentukan untuk skema keluaran konsisten dengan pedoman penilaian yang Anda tetapkan dalam prompt. Misalnya, dalam contoh sebelumnya, Anda akan menentukan definisi untuk skema keluaran Anda sebagai 'Buruk', 'Dapat Diterima', dan 'Bagus'. Untuk panduan lebih lanjut tentang mendefinisikan skema keluaran, lihatMenentukan skema keluaran (skala peringkat).

Variabel masukan

Bagian terakhir dari prompt Anda menentukan variabel yang dibutuhkan model evaluator untuk melakukan evaluasi. Perhatikan bahwa Anda harus menentukan variabel input terakhir; jika Anda memberikan instruksi lebih lanjut dalam prompt Anda setelah variabel input, model evaluator mungkin tidak mengevaluasi metrik Anda dengan benar.

Variabel input minimum yang perlu Anda tentukan bergantung pada jenis pekerjaan evaluasi yang Anda buat; untuk pekerjaan khusus pengambilan, Anda harus menyediakan, dan untuk pekerjaan pengambil-dan-buat{{context}}, Anda harus menyediakan. {{prediction}} Dalam kedua kasus tersebut, kami sarankan Anda juga menyertakan prompt yang diberikan ke model generator ({{prompt}}). Tabel berikut mendefinisikan variabel yang dapat Anda gunakan dalam prompt Anda, dan bagaimana mereka sesuai dengan properti dalam kumpulan data prompt Anda.

Variabel masukan Definisi Diperlukan (hanya mengambil) Diperlukan (mengambil dan menghasilkan) Properti dataset prompt
{{prompt}} Prompt yang diberikan ke sistem RAG Tidak Tidak "prompt"
{{prediction}} Respons yang disediakan oleh model generator respons (hanya tersedia untuk mengambil dan menghasilkan pekerjaan) Tidak Ya "output" -> "text"(hanya berlaku untuk pekerjaan di mana Anda memberikan data inferensi Anda sendiri)
{{ground_truth}} Jawaban referensi untuk prompt Tidak Tidak "referenceResponses" -> "content" -> "text"
{{context}} Bagian RAG diterima untuk menghasilkan respons Ya Tidak "retrievalResults" -> "content" -> "text"
{{reference_contexts}} Bagian kebenaran dasar yang Anda harapkan untuk diambil Tidak Tidak referenceContexts -> "content" -> "text"

Contoh berikut menggambarkan cara menentukan variabel input dalam prompt.

contoh definisi variabel masukan
Here is the actual task:
Prompt: {{prompt}}
Response: {{prediction}}

Untuk kelengkapan, seluruh prompt untuk kasus penggunaan ini disediakan dalam contoh berikut. Prompt lengkap dapat memiliki panjang maksimum 5.000 karakter.

contoh prompt metrik kustom
You are a professional editor who is familiar with the requirements of commonly-used style manuals.
					
You are provided a prompt and a response from a RAG system.
The prompt asks the RAG system to follow the Chicago manual of style when generating its responses. 
Your task is to assess how closely the text in the response adheres to the style guide.
Focus in particular on grammar, prose style, and citation requirements.

When evaluating the response quality, consider the following:
- Grammar: Does the grammar in the response follow the requirements of the style guide
- Style consistency: Does the response maintain consistent capitalization, punctuation, and paragraph formatting
- Citations: Does the response use the correct citation style for in-text citations and endnotes

Please rate the quality of the response on the following scale:
- Poor: Response includes errors in citation, grammar, or usage
- Acceptable: Response includes only minor formatting errors
- Good: Response meets all requirements of the style guide

Here is the actual task:
Prompt: {{prompt}}
Response: {{prediction}}

Menentukan skema keluaran (skala peringkat)

Selain pedoman evaluasi dalam prompt Anda, saat Anda membuat pekerjaan evaluasi dengan metrik khusus, Anda dapat menentukan skala peringkat untuk metrik dengan menentukan skema keluaran. Skema ini terdiri dari nilai skala dan definisi yang sesuai. Nilai untuk skala dapat berupa nilai numerik atau string, tetapi bukan campuran keduanya.

Kami sangat menyarankan Anda menentukan skala peringkat. Jika tidak, Amazon Bedrock mungkin tidak dapat mengurai output model evaluator Anda dengan benar untuk menampilkan hasil Anda secara grafis di konsol, atau untuk menghitung perhitungan skor rata-rata. Anda dapat menentukan skala peringkat saat membuat metrik menggunakan konsol, atau dengan menggunakan ratingScale properti jika Anda membuat metrik menggunakan AWS SDK atau AWS CLI.

Saat Anda menentukan skala peringkat, Amazon Bedrock menambahkan instruksi keluaran terstruktur ke prompt model evaluator Anda. Karena format untuk output terstruktur berbeda antara model evaluator, penting bagi Anda untuk menentukan skala peringkat secara terpisah, dan tidak memasukkannya sebagai bagian dari prompt utama Anda. Jika Anda membuat metrik dan menentukan skala peringkat di konsol, Anda dapat melihat prompt akhir termasuk instruksi keluaran terstruktur di area teks pratinjau.

Saat memberikan definisi untuk setiap nilai skala, pastikan bahwa definisi yang Anda gunakan dalam definisi skema keluaran Anda persis sama dengan cara Anda mendefinisikan pedoman penilaian Anda dalam prompt. Definisi ini harus memiliki maksimal lima kata dan dibatasi hingga 100 karakter. Hindari menggunakan artikel ('a' dan 'the') dalam definisi. Anda dapat menggunakan teks penjelasan dalam prompt Anda untuk memberikan model evaluator dengan definisi yang lebih rinci tentang cara menilai tanggapan.

Tabel berikut menggambarkan bagaimana Anda dapat menjelaskan pedoman penilaian dalam prompt, dan bagaimana Anda harus menentukan definisi skala yang sesuai dalam skema keluaran.

Pedoman penilaian yang cepat Nilai skala skema Definisi skala skema
- Poor: The response fails to meet the basic requirements of the prompt and contains significant errors and omissions 0 Poor
- Good: The response adequately meets the basic requirements of the prompt but may contain minor errors or omissions 1 Good
- Excellent: The response fully meets the prompt with comprehensive, accurate, and valuable information 2 Excellent

Contoh ini menggunakan nilai integer untuk skala, tetapi Anda juga dapat menggunakan string.

Untuk mempelajari cara menentukan skema saat Anda membuat pekerjaan evaluasi, lihatMembuat pekerjaan evaluasi model menggunakan metrik khusus.

Membuat file JSON untuk membuat metrik khusus

Saat Anda membuat pekerjaan evaluasi yang menggunakan metrik khusus di konsol, Anda memiliki opsi untuk mengunggah file JSON dari mesin lokal yang menentukan metrik Anda. Jika Anda memilih untuk menggunakan file JSON untuk membuat metrik khusus menggunakan konsol, Anda tidak dapat menentukan skala peringkat menggunakan area teks di UI konsol, jadi Anda harus menyertakannya dalam definisi JSON Anda. Sebaiknya Anda selalu menentukan skala peringkat saat membuat metrik khusus.

Contoh berikut menunjukkan format file JSON untuk membuat metrik khusus dengan skala peringkat numerik atau string, atau tanpa skala peringkat. Dalam setiap kasus, tambahkan prompt lengkap Anda sebagai string di "instructions" properti.

Saat Anda membuat pekerjaan evaluasi dengan satu atau beberapa metrik khusus, Amazon Bedrock menyimpan definisi metrik Anda sebagai file JSON di bucket S3 keluaran yang Anda tentukan. Anda dapat mengakses file-file ini dengan menavigasi kes3://S3-output-bucket-name/job-name/job-uuid/custom_metrics.

Definition with numerical scale
{
    "customMetricDefinition": {
        "metricName": "my_custom_metric",
        "instructions": "Your complete custom metric prompt including at least one {{input variable}}",
        "ratingScale": [
            {
                "definition": "first rating definition",
                "value": {
                    "floatValue": 3
                }
            },
            {
                "definition": "second rating definition",
                "value": {
                    "floatValue": 2
                }
            },
            {
                "definition": "third rating definition",
                "value": {
                    "floatValue": 1
                }
            }
        ]
    }
}
Definition with string scale
{
    "customMetricDefinition": {
        "metricName": "my_custom_metric",
        "instructions": "Your complete custom metric prompt including at least one {{input variable}}",
        "ratingScale": [
            {
                "definition": "first rating definition",
                "value": {
                    "stringValue": "first value"
                }
            },
            {
                "definition": "second rating definition",
                "value": {
                    "stringValue": "second value"
                }
            },
            {
                "definition": "third rating definition",
                "value": {
                    "stringValue": "third value"
                }
            }
        ]
    }
}
Definition with no scale
{
    "customMetricDefinition": {
        "metricName": "my_custom_metric",
        "instructions": "Your complete custom metric prompt including at least one {{input variable}}"
    }
}