Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengevaluasi kinerja sumber daya Amazon Bedrock

Gunakan evaluasi Amazon Bedrock untuk mengevaluasi kinerja dan efektivitas model dan basis pengetahuan Amazon Bedrock, serta model dan sumber Retrieval Augmented Generation (RAG) di luar Amazon Bedrock. Amazon Bedrock dapat menghitung metrik kinerja seperti ketahanan semantik model dan kebenaran basis pengetahuan dalam mengambil informasi dan menghasilkan respons. Untuk evaluasi model, Anda juga dapat memanfaatkan tim pekerja manusia untuk menilai dan memberikan masukan mereka untuk evaluasi.

Evaluasi otomatis, termasuk evaluasi yang memanfaatkan Large Language Models (LLMs), menghasilkan skor dan metrik yang dihitung yang membantu Anda menilai efektivitas model dan basis pengetahuan. Evaluasi berbasis manusia menggunakan tim orang yang memberikan peringkat dan preferensi mereka dalam kaitannya dengan metrik tertentu.

Ikhtisar: Pekerjaan evaluasi model otomatis

Pekerjaan evaluasi model otomatis memungkinkan Anda mengevaluasi dengan cepat kemampuan model untuk menjalankan tugas. Anda dapat menyediakan set data prompt kustom Anda sendiri yang telah disesuaikan dengan kasus penggunaan tertentu, atau Anda dapat menggunakan set data bawaan yang tersedia.

Ikhtisar: Pekerjaan evaluasi model yang menggunakan pekerja manusia

Pekerjaan evaluasi model yang menggunakan pekerja manusia memungkinkan Anda membawa input manusia ke proses evaluasi model. Mereka bisa berasal dari karyawan perusahaan Anda atau sekelompok pakar dari industri Anda.

Ikhtisar: Pekerjaan evaluasi model yang menggunakan model hakim

Pekerjaan evaluasi model yang menggunakan model hakim memungkinkan Anda untuk dengan cepat mengevaluasi tanggapan model melalui menggunakan LLM kedua. LLM kedua menilai respons dan memberikan penjelasan untuk setiap respons.

Ikhtisar evaluasi RAG yang menggunakan Model Bahasa Besar () LLMs

Evaluasi berbasis LLM menghitung metrik kinerja untuk basis pengetahuan. Metrik mengungkapkan apakah sumber RAG atau Pangkalan Pengetahuan Amazon Bedrock dapat mengambil informasi yang sangat relevan dan menghasilkan respons yang berguna dan sesuai. Anda menyediakan kumpulan data yang berisi petunjuk atau kueri pengguna untuk mengevaluasi cara basis pengetahuan mengambil informasi dan menghasilkan tanggapan untuk kueri yang diberikan. Dataset juga harus menyertakan 'kebenaran dasar' atau teks dan tanggapan yang diambil yang diharapkan untuk kueri sehingga evaluasi dapat memeriksa apakah basis pengetahuan Anda selaras dengan apa yang diharapkan.

Gunakan topik berikut untuk mempelajari lebih lanjut tentang membuat pekerjaan evaluasi model pertama Anda.

Dukungan pekerjaan evaluasi model menggunakan jenis model Amazon Bedrock berikut: