Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris. # Membuat pekerjaan evaluasi RAG khusus pengambilan; Anda dapat membuat pekerjaan evaluasi RAG menggunakan Konsol Manajemen AWS, AWS CLI, atau AWS SDK yang didukung. Jenis pekerjaan ini membutuhkan akses ke model evaluator. Untuk daftar model evaluator yang didukung, lihat[Model yang didukung](evaluation-kb.md#evaluation-kb-supported). Untuk membuat pekerjaan menggunakan instruksi berikut, Anda juga memerlukan kumpulan data yang cepat. Jika Anda belum membuatnya, lihat[Buat kumpulan data cepat untuk evaluasi RAG di Amazon Bedrock](knowledge-base-evaluation-prompt.md). ------ #### [ Console ] 1. Buka [konsol Amazon Bedrock](https://console.aws.amazon.com/bedrock/home). 1. **Di panel sebelah kiri di bawah **Inferensi dan penilaian**, pilih Evaluasi.** 1. **Di panel **evaluasi RAG**, pilih Buat.** 1. Masukkan detail evaluasi RAG Anda dengan melakukan hal berikut: 1. Di panel **Detail evaluasi** di bawah **Nama evaluasi**, masukkan nama untuk pekerjaan evaluasi Anda. Nama yang Anda pilih harus unik di dalam diri Anda Wilayah AWS. 1. Secara opsional, di bawah **Deskripsi - *opsional***, masukkan deskripsi untuk pekerjaan evaluasi Anda. 1. Di bawah **model Evaluator**, **pilih Pilih model** dan pilih model evaluator yang ingin Anda lakukan evaluasi. 1. Masukkan sumber inferensi untuk pekerjaan evaluasi Anda. [Dengan evaluasi Amazon Bedrock RAG, Anda dapat mengevaluasi kinerja Pangkalan Pengetahuan Amazon Bedrock, atau sumber RAG lainnya dengan menyediakan data respons inferensi Anda sendiri dalam kumpulan data yang cepat.](knowledge-base-evaluation-prompt.md) Untuk memilih Basis Pengetahuan Amazon Bedrock, lakukan hal berikut: 1. Di panel **Sumber inferensi**, di bawah **Pilih sumber pilih** Basis Pengetahuan **Batuan Dasar**. 1. Di bawah **Pilih Basis Pengetahuan**, pilih Basis Pengetahuan menggunakan daftar dropdown. 1. Untuk membawa data respons inferensi Anda sendiri, lakukan hal berikut: 1. Di panel **Sumber inferensi**, di bawah **Pilih sumber pilih** **Bawa tanggapan inferensi Anda sendiri**. 1. Untuk **nama Sumber**, masukkan nama untuk sumber RAG yang Anda gunakan untuk membuat data respons. Nama yang Anda masukkan harus cocok dengan `knowledgeBaseIdentifier` parameter dalam [kumpulan data prompt](knowledge-base-evaluation-prompt.md) Anda. 1. Di panel **Sumber inferensi**, di bawah **Jenis evaluasi**, pilih **Pengambilan** saja. 1. Pilih metrik bawaan yang ingin digunakan model evaluator dengan memilih setidaknya satu metrik di panel **Metrik**. 1. Tentukan lokasi input dan output untuk dataset dan hasil Anda dengan melakukan hal berikut: 1. **Di panel **Datasets** di bawah **Pilih kumpulan data prompt, masukkan URI Amazon S3 untuk kumpulan data** prompt Anda, atau pilih Jelajahi S3 dan pilih file Anda.** Untuk melihat definisi format kumpulan data prompt yang diperlukan untuk pekerjaan evaluasi khusus pengambilan, lihat. [Buat kumpulan data cepat untuk pekerjaan evaluasi RAG khusus pengambilan](knowledge-base-evaluation-prompt-retrieve.md) 1. Di bawah **Hasil evaluasi**, masukkan lokasi Amazon S3 untuk Amazon Bedrock untuk menyimpan hasil Anda, atau pilih **Jelajahi S3** untuk memilih lokasi. 1. Di bawah **peran Amazon Bedrock IAM - Izin**, pilih **Buat dan gunakan peran layanan baru** agar Amazon Bedrock membuat peran IAM baru untuk pekerjaan evaluasi, atau pilih **Gunakan peran layanan yang ada untuk memilih peran IAM yang ada**. Untuk daftar izin yang diperlukan untuk membuat dan menjalankan pekerjaan evaluasi, lihat[Prasyarat](knowledge-base-evaluation-create.md#knowledge-base-evaluation-create-prereqs). 1. (Opsional) untuk menggunakan kunci KMS Anda sendiri untuk mengenkripsi data evaluasi Anda, di bawah **KMSkey - *Opsional***, periksa **Sesuaikan pengaturan enkripsi (lanjutan)** dan pilih kunci Anda AWS KMS . Secara default, Amazon Bedrock mengenkripsi data pekerjaan evaluasi Anda dengan kunci KMS yang AWS dimiliki. 1. Pilih **Buat** untuk menyelesaikan pembuatan pekerjaan evaluasi Anda. ------ #### [ AWS CLI ] **Buat pekerjaan evaluasi khusus pengambilan untuk Pangkalan Pengetahuan Amazon Bedrock** + Jalankan AWS CLI perintah berikut menggunakan contoh file JSON. ``` aws bedrock create-evaluation-job --cli-input-json file://my_eval_job.json ``` ``` { "jobName": "my_rag_eval", "roleArn": "arn:aws:iam::111122223333:role/service-role/Amazon-Bedrock-IAM-Role-Amazon-Bedrock-IAM-Role-20250218T063974", "applicationType": "RagEvaluation", "evaluationConfig": { "automated": { "datasetMetricConfigs": [ { "taskType": "General", "dataset": { "name": "text_dataset", "datasetLocation": { "s3Uri": "s3://amzn-s3-demo-bucket/input/retrieval-only/retrieve-eval-byoir.jsonl" } }, "metricNames": [ "Builtin.ContextCoverage", "Builtin.ContextRelevance" ] } ], "evaluatorModelConfig": { "bedrockEvaluatorModels": [ { "modelIdentifier": "us.meta.llama3-1-70b-instruct-v1:0" } ] } } }, "inferenceConfig": { "ragConfigs": [ { "knowledgeBaseConfig": { "retrieveConfig": { "knowledgeBaseId": "your-knowledge-base-id", "knowledgeBaseRetrievalConfiguration": { "vectorSearchConfiguration": { "numberOfResults": 3 } } } } } ] }, "outputDataConfig": { "s3Uri": "s3://amzn-s3-demo-bucket/output/" } } ``` **Buat pekerjaan evaluasi hanya pengambilan dengan data respons inferensi Anda sendiri** + Jalankan AWS CLI perintah berikut menggunakan contoh file JSON. ``` aws bedrock create-evaluation-job --cli-input-json file://my_eval_job.json ``` ``` { "jobName": "my_rag_eval", "roleArn": "arn:aws:iam::111122223333:role/service-role/Amazon-Bedrock-IAM-Role-Amazon-Bedrock-IAM-Role-20250218T063974", "applicationType": "RagEvaluation", "evaluationConfig": { "automated": { "datasetMetricConfigs": [ { "taskType": "General", "dataset": { "name": "text_dataset", "datasetLocation": { "s3Uri": "s3://amzn-s3-demo-bucket/input/retrieval-only/retrieve-eval-byoir.jsonl" } }, "metricNames": [ "Builtin.ContextCoverage", "Builtin.ContextRelevance" ] } ], "evaluatorModelConfig": { "bedrockEvaluatorModels": [ { "modelIdentifier": "us.meta.llama3-1-70b-instruct-v1:0" } ] } } }, "inferenceConfig": { "ragConfigs": [ { "precomputedRagSourceConfig": { "retrieveSourceConfig": { "ragSourceIdentifier": "my_rag_source" } } } ] }, "outputDataConfig": { "s3Uri": "s3://amzn-s3-demo-bucket/output/" } } ``` ------ #### [ SDK for Python ] Contoh python berikut menunjukkan cara membuat pekerjaan khusus pengambilan untuk Pangkalan Pengetahuan Amazon Bedrock menggunakan AWS SDK untuk Python (Boto3) Untuk mempelajari selengkapnya tentang membuat pekerjaan evaluasi menggunakan Boto3, lihat dalam dokumentasi Boto3. [https://boto3.amazonaws.com/v1/documentation/api/1.35.6/reference/services/bedrock/client/create_evaluation_job.html](https://boto3.amazonaws.com/v1/documentation/api/1.35.6/reference/services/bedrock/client/create_evaluation_job.html) ``` import boto3 client = boto3.client('bedrock') job_response = client.create_evaluation_job( jobName="my_evaluation_job", jobDescription="two different task types", roleArn="arn:aws:iam::111122223333:role/service-role/Amazon-Bedrock-IAM-RoleAmazon-Bedrock-IAM-Role", applicationType="RagEvaluation", inferenceConfig={ "ragConfigs": [ { "knowledgeBaseConfig": { "retrieveConfig": { "knowledgeBaseId": "your-knowledge-base-id", "knowledgeBaseRetrievalConfiguration": { "vectorSearchConfiguration": { "numberOfResults": 10, "overrideSearchType": "HYBRID" } } } } } ] }, outputDataConfig={ "s3Uri":"s3://amzn-s3-demo-bucket-model-evaluations/outputs/" }, evaluationConfig={ "automated": { "datasetMetricConfigs": [ { "taskType": "Summarization", "dataset": { "name": "RagDataset", "datasetLocation": { "s3Uri": "s3://amzn-s3-demo-bucket/input_data/data_3_rng.jsonl" } }, "metricNames": [ "Builtin.ContextCoverage" ] } ], "evaluatorModelConfig": { "bedrockEvaluatorModels": [{ "modelIdentifier": "meta.llama3-1-70b-instruct-v1:0" }] } } } ) print(job_request) ``` ------