Coherence: Measures the organization and structure of a generated text. - Thumbs up/down\nAccuracy: Indicates the accuracy of a generated text. - Choice buttons
\nThe evaluation creator should use this space to write detailed descriptions for every rating method so your evaluators know how to properly rate the responses with the buttons on their screen.
\nIf using Likert scale - individual, define the 1 and 5 of the 5 point Likert scale for each metric so your evaluators know if 1 or 5 means favorable/acceptable/preferable.\nIf using Likert scale - comparison, describe what the evaluator is looking for to determine their preference between two responses.\nIf using Choice buttons, describe what is preferred according to your metric and its description.\nIf using Ordinal ranking, define what should receive a #1 ranking according to your metric and its description.\nIf using Thumbs up/down, define what makes an acceptable response according to your metric and its description.
\nDescribe the purpose of your ground truth responses that will be shown on screen next to each model response. Note that the ground truth responses you provide are not rated/scored by the evaluators - they are meant to be a reference standard for comparison against the model responses.
" } } }, "inferenceConfig": { "models": [ { "precomputedInferenceSource": { "inferenceSourceIdentifier": "llama-3-1-80b" } }, { "precomputedInferenceSource": { "inferenceSourceIdentifier": "my_other_model" } } ] }, "outputDataConfig": { "s3Uri": "s3://amzn-s3-demo-bucket/output/" } } ``` ------ #### [ SDK for Python ] Contoh kode berikut menunjukkan cara membuat pekerjaan evaluasi model yang menggunakan pekerja manusia melalui SDK untuk SDK untuk Python. ``` import boto3 client = boto3.client('bedrock') job_request = client.create_evaluation_job( jobName="111122223333-job-01", jobDescription="two different task types", roleArn="arn:aws:iam::111122223333:role/example-human-eval-api-role", inferenceConfig={ ## You must specify and array of models "models": [ { "bedrockModel": { "modelIdentifier":"arn:aws:bedrock:us-west-2::foundation-model/amazon.titan-text-lite-v1", "inferenceParams":"{\"inferenceConfig\":{\"maxTokens\": 512,\"temperature\":0.7,\"topP\":0.9}}" } }, { "bedrockModel": { "modelIdentifier": "anthropic.claude-v2", "inferenceParams": "{\"inferenceConfig\":{\"maxTokens\":512,\"temperature\":1,\"topP\":0.999,\"stopSequences\":[\"stop\"]},\"additionalModelRequestFields\":{\"top_k\": 128}}" } } ] }, outputDataConfig={ "s3Uri":"s3://job-bucket/outputs/" }, evaluationConfig={ "human": { "humanWorkflowConfig": { "flowDefinitionArn": "arn:aws:sagemaker:us-west-2:111122223333:flow-definition/example-workflow-arn", "instructions": "some human eval instruction" }, "customMetrics": [ { "name": "IndividualLikertScale", "description": "testing", "ratingMethod": "IndividualLikertScale" } ], "datasetMetricConfigs": [ { "taskType": "Summarization", "dataset": { "name": "Custom_Dataset1", "datasetLocation": { "s3Uri": "s3://job-bucket/custom-datasets/custom-trex.jsonl" } }, "metricNames": [ "IndividualLikertScale" ] } ] } } ) print(job_request) ``` ------ # Daftar pekerjaan evaluasi model yang menggunakan pekerja manusia di Amazon Bedrock Anda dapat membuat daftar pekerjaan evaluasi model saat ini yang menggunakan pekerja manusia menggunakan AWS CLI, atau AWS SDK yang didukung. Di konsol Amazon Bedrock, Anda juga dapat melihat tabel yang berisi pekerjaan evaluasi model Anda saat ini. Contoh berikut menunjukkan cara menemukan pekerjaan evaluasi model Anda menggunakan Konsol Manajemen AWS, AWS CLI dan SDK untuk Python. ------ #### [ Amazon Bedrock console ] 1. Buka konsol Amazon Bedrock: [https://console.aws.amazon.com/bedrock/home](https://console.aws.amazon.com/bedrock/home) 1. Di panel navigasi, pilih **Evaluasi model**. 1. Dalam kartu **Pekerjaan Evaluasi Model**, Anda dapat menemukan tabel yang mencantumkan pekerjaan evaluasi model yang telah Anda buat. ------ #### [ AWS CLI ] Di AWS CLI, Anda dapat menggunakan `help` perintah untuk melihat parameter yang diperlukan, dan parameter mana yang opsional saat menggunakan`list-evaluation-jobs`. ``` aws bedrock list-evaluation-jobs help ``` Berikut ini adalah contoh penggunaan `list-evaluation-jobs` dan menentukan bahwa maksimal 5 pekerjaan dikembalikan. Secara default, pekerjaan dikembalikan dalam urutan menurun sejak saat dimulai. ``` aws bedrock list-evaluation-jobs --max-items 5 ``` ------ #### [ SDK for Python ] Contoh berikut menunjukkan cara menggunakan AWS SDK untuk Python untuk menemukan pekerjaan evaluasi model yang telah Anda buat sebelumnya. ``` import boto3 client = boto3.client('bedrock') job_request = client.list_evaluation_jobs(maxResults=20) print (job_request) ``` ------ # Hentikan pekerjaan evaluasi model di Amazon Bedrock Anda dapat menghentikan pekerjaan evaluasi model yang saat ini sedang diproses menggunakan Konsol Manajemen AWS, AWS CLI, atau AWS SDK yang didukung. Contoh berikut menunjukkan cara menghentikan pekerjaan evaluasi model menggunakan Konsol Manajemen AWS, AWS CLI, dan SDK untuk Python ------ #### [ Amazon Bedrock console ] Contoh berikut menunjukkan cara menghentikan pekerjaan evaluasi model menggunakan Konsol Manajemen AWS 1. Buka konsol Amazon Bedrock: [https://console.aws.amazon.com/bedrock/home](https://console.aws.amazon.com/bedrock/home) 1. Di panel navigasi, pilih **Evaluasi model**. 1. Dalam kartu **Pekerjaan Evaluasi Model**, Anda dapat menemukan tabel yang mencantumkan pekerjaan evaluasi model yang telah Anda buat. 1. Pilih tombol radio di sebelah nama pekerjaan Anda. 1. Kemudian, pilih **Hentikan evaluasi**. ------ #### [ SDK for Python ] Contoh berikut menunjukkan cara menghentikan pekerjaan evaluasi model menggunakan SDK untuk Python ``` import boto3 client = boto3.client('bedrock') response = client.stop_evaluation_job( ## The ARN of the model evaluation job you want to stop. jobIdentifier='arn:aws:bedrock:us-west-2:444455556666:evaluation-job/fxaqujhttcza' ) print(response) ``` ------ #### [ AWS CLI ] Dalam AWS CLI, Anda dapat menggunakan `help` perintah untuk melihat parameter mana yang diperlukan, dan parameter mana yang opsional saat menentukan `add-something` dalam AWS CLI. ``` aws bedrock create-evaluation-job help ``` Contoh berikut menunjukkan cara menghentikan pekerjaan evaluasi model menggunakan AWS CLI ``` aws bedrock stop-evaluation-job --job-identifier arn:aws:bedrock:us-west-2:444455556666:evaluation-job/fxaqujhttcza ``` ------ # Hapus pekerjaan evaluasi model di Amazon Bedrock Anda dapat menghapus tugas evaluasi model menggunakan konsol Amazon Bedrock, atau dengan menggunakan [BatchDeleteEvaluationJob](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_BatchDeleteEvaluationJob.html)operasi dengan AWS CLI, atau AWS SDK yang didukung. Sebelum Anda dapat menghapus pekerjaan evaluasi model, status pekerjaan harus`FAILED`,`COMPLETED`, atau`STOPPED`. Anda bisa mendapatkan status saat ini untuk pekerjaan dari konsol Amazon Bedrock atau dengan menelepon. [ ListEvaluationJobs](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListEvaluationJobs.html) Untuk informasi selengkapnya, lihat [Buat daftar pekerjaan evaluasi model otomatis di Amazon BedrockDaftar pekerjaan evaluasi model yang menggunakan pekerja manusia di Amazon Bedrock](model-evaluation-jobs-management-list.md). Anda dapat menghapus hingga 25 pekerjaan evaluasi model sekaligus dengan konsol dan dengan `BatchDeleteEvaluationJob` operasi. Jika Anda perlu menghapus lebih banyak pekerjaan, ulangi prosedur konsol atau `BatchDeleteEvaluationJob` panggilan. Jika Anda menghapus pekerjaan evaluasi model dengan `BatchDeleteEvaluationJob` operasi, Anda memerlukan Amazon Resource Names (ARNs) dari model yang ingin Anda hapus. Untuk informasi tentang mendapatkan ARN untuk model, lihat. [Buat daftar pekerjaan evaluasi model otomatis di Amazon BedrockDaftar pekerjaan evaluasi model yang menggunakan pekerja manusia di Amazon Bedrock](model-evaluation-jobs-management-list.md) Saat Anda menghapus pekerjaan evaluasi model, semua sumber daya di Amazon Bedrock dan Amazon SageMaker AI akan dihapus. Pekerjaan evaluasi model apa pun yang disimpan di bucket Amazon S3 dibiarkan tidak berubah. Selain itu, untuk pekerjaan evaluasi model yang menggunakan pekerja manusia, menghapus pekerjaan evaluasi model tidak akan menghapus tenaga kerja atau tim kerja yang telah Anda konfigurasi di Amazon Cognito atau AI. SageMaker Gunakan bagian berikut untuk melihat contoh cara menghapus pekerjaan evaluasi model. ------ #### [ Amazon Bedrock console ] Gunakan prosedur berikut untuk menghapus pekerjaan evaluasi model menggunakan konsol Amazon Bedrock. Agar berhasil menyelesaikan prosedur ini, pastikan bahwa pengguna, grup, atau peran IAM Anda memiliki izin yang cukup untuk mengakses konsol. Untuk mempelajari selengkapnya, lihat [Izin konsol yang diperlukan untuk membuat pekerjaan evaluasi model berbasis manusia](model-evaluation-type-human.md#more-for-human). **Untuk menghapus beberapa pekerjaan evaluasi model.** 1. Buka konsol Amazon Bedrock: [https://console.aws.amazon.com/bedrock/](https://console.aws.amazon.com/bedrock/) 1. Di panel navigasi, pilih **Evaluasi model**. 1. Dalam kartu **Pekerjaan Evaluasi Model**, gunakan tabel untuk menemukan pekerjaan evaluasi model yang ingin Anda hapus, pilih mereka menggunakan kotak centang di sebelah nama pekerjaan. Anda dapat memilih hingga 25 pekerjaan. 1. Pilih **Hapus** untuk menghapus pekerjaan evaluasi model. 1. Jika Anda perlu menghapus lebih banyak pekerjaan evaluasi model, ulangi langkah 3 dan 4. ------ #### [ AWS CLI ] Di AWS CLI, Anda dapat menggunakan `help` perintah untuk melihat parameter yang diperlukan, dan parameter mana yang opsional saat menggunakan`batch-delete-evaluation-job`. ``` aws bedrock batch-delete-evaluation-job help ``` Berikut ini adalah contoh penggunaan `batch-delete-evaluation-job` dan menentukan bahwa 2 pekerjaan evaluasi model akan dihapus. Anda menggunakan `job-identifiers` parameter untuk menentukan daftar ARNS untuk pekerjaan evaluasi model yang ingin Anda hapus. Anda dapat menghapus hingga 25 pekerjaan evaluasi model dalam satu panggilan ke`batch-delete-evaluation-job`. Jika Anda perlu menghapus lebih banyak pekerjaan, lakukan panggilan lebih lanjut ke`batch-delete-evaluation-job`. ``` aws bedrock batch-delete-evaluation-job \ --job-identifiers arn:aws:bedrock:us-east-1:111122223333:evaluation-job/rmqp8zg80rvg arn:aws:bedrock:us-east-1:111122223333:evaluation-job/xmfp9zg204fdk ``` Setelah mengirimkan Anda akan mendapatkan tanggapan berikut. ``` { "evaluationJobs": [ { "jobIdentifier": "rmqp8zg80rvg", "jobStatus": "Deleting" }, { "jobIdentifier": "xmfp9zg204fdk", "jobStatus": "Deleting" } ], "errors": [] } ``` ------ #### [ SDK for Python ] Contoh berikut menunjukkan cara menggunakan AWS SDK untuk Python untuk menghapus pekerjaan evaluasi model. Gunakan `jobIdentifiers` parameter untuk menentukan daftar ARNS untuk pekerjaan evaluasi model yang ingin Anda hapus. Anda dapat menghapus hingga 25 pekerjaan evaluasi model dalam satu panggilan ke`BatchDeleteEvaluationJob`. Jika Anda perlu menghapus lebih banyak pekerjaan, lakukan panggilan lebih lanjut ke`BatchDeleteEvaluationJob`. ``` import boto3 client = boto3.client('bedrock') job_request = client.batch_delete_model_evaluation_job(jobIdentifiers=["arn:aws:bedrock:us-east-1:111122223333:evaluation-job/rmqp8zg80rvg", "arn:aws:bedrock:us-east-1:111122223333:evaluation-job/xmfp9zg204fdk"]) print (job_request) ``` ------ # Kelola tim kerja untuk evaluasi model manusia di Amazon Bedrock Untuk pekerjaan evaluasi yang menggunakan pekerja manusia, Anda harus memiliki tim kerja. Tim kerja adalah sekelompok pekerja yang *Anda* pilih. Ini bisa berupa karyawan perusahaan Anda atau sekelompok ahli materi pelajaran dari industri Anda. **Pemberitahuan pekerja di Amazon Bedrock** Saat Anda membuat pekerjaan evaluasi di Amazon Bedrock, pekerja diberi tahu tentang pekerjaan yang ditugaskan *hanya* saat Anda pertama kali menambahkannya ke tim kerja Jika Anda menghapus pekerja dari tim kerja selama evaluasi penciptaan pekerjaan, mereka akan kehilangan akses ke *semua* pekerjaan evaluasi yang telah mereka tetapkan juga. Untuk setiap pekerjaan evaluasi baru yang Anda tetapkan ke pekerja manusia yang ada, Anda harus memberi tahu mereka secara langsung dan memberi mereka URL ke portal pekerja. Pekerja harus menggunakan kredensi login yang dibuat sebelumnya untuk portal pekerja. Portal pekerja ini sama untuk semua pekerjaan evaluasi di AWS akun Anda per wilayah Anda dapat membuat tim kerja manusia atau mengelola yang sudah ada sambil menyiapkan pekerja pekerjaan evaluasi ke *tenaga kerja Pribadi* yang dikelola oleh Amazon SageMaker Ground Truth. Amazon SageMaker Ground Truth mendukung fitur manajemen tenaga kerja yang lebih canggih. Untuk mempelajari lebih lanjut tentang mengelola tenaga kerja Anda di Amazon SageMaker Ground Truth, lihat [Membuat dan mengelola tenaga kerja](https://docs.aws.amazon.com/sagemaker/latest/dg/sms-workforce-management.html). Anda dapat menghapus pekerja dari tim kerja sambil menyiapkan pekerjaan evaluasi baru. Jika tidak, Anda harus menggunakan konsol Amazon Cognito atau konsol Amazon SageMaker Ground Truth untuk mengelola tim kerja yang Anda buat di Amazon Bedrock. Jika pengguna, grup, atau peran IAM memiliki izin yang diperlukan, Anda akan melihat tenaga kerja pribadi dan tim kerja yang ada yang Anda buat di Amazon Cognito, Amazon Ground SageMaker Truth, atau Amazon Augmented AI terlihat saat Anda membuat pekerjaan evaluasi yang menggunakan pekerja manusia. Amazon Bedrock mendukung maksimal 50 pekerja per tim kerja. Di bidang alamat email, Anda dapat memasukkan hingga 50 alamat email sekaligus. Untuk menambahkan lebih banyak pekerja ke pekerjaan evaluasi Anda, gunakan konsol Amazon Cognito atau konsol Ground Truth. Alamat harus dipisahkan dengan koma. Anda harus menyertakan alamat email Anda sendiri sehingga Anda adalah bagian dari tenaga kerja dan dapat melihat tugas pelabelan. ## Buat instruksi untuk pekerja manusia Membuat instruksi yang baik untuk pekerjaan evaluasi model Anda meningkatkan akurasi pekerja Anda dalam menyelesaikan tugas mereka. Anda dapat mengubah instruksi default yang disediakan di konsol saat membuat pekerjaan evaluasi model. Instruksi ditampilkan kepada pekerja di halaman UI tempat mereka menyelesaikan tugas pelabelan mereka. Untuk membantu pekerja menyelesaikan tugas yang ditugaskan, Anda dapat memberikan instruksi di dua tempat. **Berikan deskripsi yang baik untuk setiap metode evaluasi dan penilaian** Deskripsi harus memberikan penjelasan singkat tentang metrik yang dipilih. Deskripsi harus diperluas pada metrik, dan memperjelas bagaimana Anda ingin pekerja mengevaluasi metode peringkat yang dipilih. **Berikan instruksi evaluasi keseluruhan kepada pekerja Anda** Instruksi ini ditampilkan di halaman web yang sama di mana pekerja menyelesaikan tugas. Anda dapat menggunakan ruang ini untuk memberikan arah tingkat tinggi untuk pekerjaan evaluasi model, dan untuk menggambarkan respons kebenaran dasar jika Anda memasukkannya ke dalam kumpulan data cepat Anda. # Mengevaluasi kinerja model menggunakan LLM lain sebagai juri Dengan pekerjaan evaluasi model yang menggunakan model juri, Amazon Bedrock menggunakan LLM untuk menilai respons model lain dan memberikan penjelasan tentang bagaimana ia menilai setiap pasangan prompt dan respons. Skor dan penjelasan tersedia di konsol Amazon Bedrock melalui halaman [Evaluasi](https://console.aws.amazon.com/bedrock/home#/eval/evaluation). Evaluasi model semacam ini membutuhkan dua model yang berbeda, *model generator dan model* *evaluator*. Anda menentukan prompt untuk model generator dalam kumpulan data, dan model evaluator menilai respons terhadap permintaan tersebut berdasarkan metrik yang Anda pilih. Kartu ringkasan metrik di konsol menampilkan histogram yang menunjukkan berapa kali respons menerima skor tertentu, dan penjelasan skor untuk lima petunjuk pertama yang ditemukan di kumpulan data Anda. Laporan pekerjaan evaluasi lengkap tersedia di bucket Amazon S3 yang Anda tentukan saat membuat pekerjaan evaluasi model. Saat membuat pekerjaan evaluasi model, Anda dapat memilih model Amazon Bedrock sebagai model generator, atau Anda dapat mengevaluasi model Bedrock non-Amazon dengan menyediakan data respons inferensi Anda sendiri dalam kumpulan data prompt. Jika Anda memberikan data respons Anda sendiri, Amazon Bedrock melewatkan langkah pemanggilan model dan langsung mengevaluasi data yang Anda berikan. Untuk menilai respons model generator, Amazon Bedrock menyediakan satu set metrik bawaan yang dapat Anda pilih. Setiap metrik menggunakan prompt yang berbeda untuk model evaluator. Anda juga dapat menentukan metrik kustom Anda sendiri untuk kasus bisnis tertentu Anda. Lihat [Gunakan metrik untuk memahami kinerja model](model-evaluation-metrics.md) untuk mempelajari selengkapnya. ## Model yang didukung ### Model evaluator yang didukung (metrik bawaan) Untuk membuat pekerjaan evaluasi yang menggunakan LLM sebagai juri dengan metrik bawaan Amazon Bedrock, Anda memerlukan akses ke setidaknya satu model juri dalam daftar berikut. Untuk mempelajari lebih lanjut tentang mendapatkan akses ke model dan ketersediaan Wilayah, lihat[Akses model fondasi Amazon Bedrock](model-access.md). + Amazon Nova Pro – `amazon.nova-pro-v1:0` + AnthropicClaude 3.5 Sonnetv1 — `anthropic.claude-3-5-sonnet-20240620-v1:0` + AnthropicClaude 3.5 Sonnetv2 — `anthropic.claude-3-5-sonnet-20241022-v2:0` + Anthropic Claude 3.7 Sonnet – `anthropic.claude-3-7-sonnet-20250219-v1:0` + Anthropic Claude 3 Haiku – `anthropic.claude-3-haiku-20240307-v1:0` + Anthropic Claude 3.5 Haiku – `anthropic.claude-3-5-haiku-20241022-v1:0` + Meta Llama 3.1 70B Instruct – `meta.llama3-1-70b-instruct-v1:0` + Mistral Large – `mistral.mistral-large-2402-v1:0` Profil [inferensi Lintas Wilayah](cross-region-inference.md) didukung untuk model yang terdaftar. Untuk mempelajari selengkapnya, lihat [Profil inferensi lintas wilayah yang didukung](inference-profiles-support.md#inference-profiles-support-system). ### Model evaluator yang didukung (metrik khusus) Untuk membuat pekerjaan evaluasi yang menggunakan LLM sebagai juri dengan metrik khusus, Anda memerlukan akses ke setidaknya salah satu model juri dalam daftar berikut. + Mistral Large24.02 — `mistral.mistral-large-2402-v1:0` + Mistral Large24.07 — `mistral.mistral-large-2407-v1:0` + AnthropicClaude 3.5 Sonnetv1 — `anthropic.claude-3-5-sonnet-20240620-v1:0` + AnthropicClaude 3.5 Sonnetv2 — `anthropic.claude-3-5-sonnet-20241022-v2:0` + Anthropic Claude 3.7 Sonnet – `anthropic.claude-3-7-sonnet-20250219-v1:0` + AnthropicClaude 3 Haiku3 — `anthropic.claude-3-haiku-20240307-v1:0` + AnthropicClaude 3 Haiku3.5 — `anthropic.claude-3-5-haiku-20241022-v1:0` + Meta Llama 3.1 70B Instruct – `meta.llama3-1-70b-instruct-v1:0` + Meta Llama 3.3 70B Instruct – `meta.llama3-3-70b-instruct-v1:0` + Amazon Nova Pro – `amazon.nova-pro-v1:0` Profil [inferensi Lintas Wilayah](cross-region-inference.md) didukung untuk model yang terdaftar. Untuk mempelajari selengkapnya, lihat [Profil inferensi lintas wilayah yang didukung](inference-profiles-support.md#inference-profiles-support-system). ### Model generator yang didukung Anda dapat menggunakan jenis model berikut di Amazon Bedrock sebagai model generator dalam pekerjaan evaluasi. Anda juga dapat membawa data respons inferensi Anda sendiri dari model Bedrock non-Amazon. + Model pondasi — [Informasi model pondasi Amazon Bedrock](foundation-models-reference.md) + Model Amazon Bedrock Marketplace - [Amazon Bedrock Marketplace](amazon-bedrock-marketplace.md) + Model pondasi yang disesuaikan - [Sesuaikan model Anda untuk meningkatkan kinerjanya untuk kasus penggunaan Anda](custom-models.md) + Model pondasi yang diimpor - [Gunakan impor model khusus untuk mengimpor model sumber terbuka yang disesuaikan ke Amazon Bedrock](model-customization-import-model.md) + Router cepat - [Memahami perutean prompt cerdas di Amazon Bedrock](prompt-routing.md) + Model yang Anda telah membeli Provisioned Throughput — [Tingkatkan kapasitas pemanggilan model dengan Provisioned Throughput di Amazon Bedrock](prov-throughput.md) # Buat kumpulan data cepat untuk pekerjaan evaluasi model yang menggunakan model sebagai hakim Untuk membuat pekerjaan evaluasi model yang menggunakan model sebagai hakim, Anda harus menentukan kumpulan data yang cepat. Dataset prompt ini menggunakan format yang sama dengan pekerjaan evaluasi model otomatis dan digunakan selama inferensi dengan model yang Anda pilih untuk dievaluasi. Jika Anda ingin mengevaluasi model Bedrock non-Amazon menggunakan respons yang telah Anda buat, sertakan dalam kumpulan data prompt seperti yang dijelaskan dalam. [Siapkan kumpulan data untuk pekerjaan evaluasi menggunakan data respons inferensi Anda sendiri](#model-evaluation-prompt-datasets-judge-byoir) Saat Anda memberikan data respons inferensi Anda sendiri, Amazon Bedrock melewatkan langkah pemanggilan model dan melakukan pekerjaan evaluasi dengan data yang Anda berikan. Kumpulan data prompt khusus harus disimpan di Amazon S3, dan gunakan format baris JSON dan ekstensi file. `.jsonl` Setiap baris harus berupa objek JSON yang valid. Mungkin ada hingga 1000 petunjuk dalam kumpulan data Anda per pekerjaan evaluasi. Untuk pekerjaan yang dibuat menggunakan konsol, Anda harus memperbarui konfigurasi Cross Origin Resource Sharing (CORS) pada bucket S3. Untuk mempelajari lebih lanjut tentang izin CORS yang diperlukan, lihat. [Izin Cross Origin Resource Sharing (CORS) yang diperlukan pada bucket S3](model-evaluation-security-cors.md) ## Siapkan kumpulan data untuk pekerjaan evaluasi tempat Amazon Bedrock memanggil model untuk Anda Untuk menjalankan tugas evaluasi di mana Amazon Bedrock memanggil model untuk Anda, buat kumpulan data prompt yang berisi pasangan nilai kunci berikut: + `prompt`— prompt yang Anda inginkan untuk ditanggapi oleh model. + `referenceResponse`— (opsional) respons kebenaran dasar. + `category`— (opsional) menghasilkan skor evaluasi yang dilaporkan untuk setiap kategori. **catatan** Jika Anda memilih untuk memberikan respons kebenaran dasar (`referenceResponse)`, Amazon Bedrock akan menggunakan parameter ini saat menghitung metrik **Completeness** (`Builtin.Completeness`) dan **Correctness** (). `Builtin.Correctness` Anda juga dapat menggunakan metrik ini tanpa memberikan respons kebenaran dasar. Untuk melihat petunjuk hakim untuk kedua skenario ini, lihat bagian untuk model hakim pilihan Anda. [Petunjuk evaluator metrik bawaan untuk model-as-a-judge pekerjaan evaluasi](model-evaluation-type-judge-prompt.md) Berikut ini adalah contoh dataset kustom yang berisi 6 input dan menggunakan format baris JSON. ``` {"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."} {"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."} {"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."} {"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."} {"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."} {"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."} ``` Contoh berikut adalah entri tunggal diperluas untuk kejelasan. Dalam kumpulan data prompt Anda yang sebenarnya, setiap baris harus berupa objek JSON yang valid. ``` { "prompt": "What is high intensity interval training?", "category": "Fitness", "referenceResponse": "High-Intensity Interval Training (HIIT) is a cardiovascular exercise approach that involves short, intense bursts of exercise followed by brief recovery or rest periods." } ``` ## Siapkan kumpulan data untuk pekerjaan evaluasi menggunakan data respons inferensi Anda sendiri Untuk menjalankan tugas evaluasi menggunakan respons yang telah Anda buat, buat kumpulan data prompt yang berisi pasangan nilai kunci berikut: + `prompt`— prompt model Anda digunakan untuk menghasilkan tanggapan. + `referenceResponse`— (opsional) respons kebenaran dasar. + `category`— (opsional) menghasilkan skor evaluasi yang dilaporkan untuk setiap kategori. + `modelResponses`— tanggapan dari kesimpulan Anda sendiri bahwa Anda ingin Amazon Bedrock untuk mengevaluasi. Pekerjaan evaluasi yang menggunakan model sebagai hakim hanya mendukung satu respons model untuk setiap prompt, yang ditentukan menggunakan kunci berikut: + `response`— string yang berisi respons dari inferensi model Anda. + `modelIdentifier`— string yang mengidentifikasi model yang menghasilkan respons. Anda hanya dapat menggunakan satu yang unik `modelIdentifier` dalam pekerjaan evaluasi, dan setiap prompt dalam kumpulan data Anda harus menggunakan pengenal ini. **catatan** Jika Anda memilih untuk memberikan respons kebenaran dasar (`referenceResponse)`, Amazon Bedrock akan menggunakan parameter ini saat menghitung metrik **Completeness** (`Builtin.Completeness`) dan **Correctness** (). `Builtin.Correctness` Anda juga dapat menggunakan metrik ini tanpa memberikan respons kebenaran dasar. Untuk melihat petunjuk hakim untuk kedua skenario ini, lihat bagian untuk model hakim pilihan Anda. [Petunjuk evaluator metrik bawaan untuk model-as-a-judge pekerjaan evaluasi](model-evaluation-type-judge-prompt.md) Berikut ini adalah contoh kustom dataset dengan 6 input dalam format baris JSON. ``` {"prompt":"The prompt you used to generate the model response","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your model generated","modelIdentifier":"A string identifying your model"}]} {"prompt":"The prompt you used to generate the model response","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your model generated","modelIdentifier":"A string identifying your model"}]} {"prompt":"The prompt you used to generate the model response","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your model generated","modelIdentifier":"A string identifying your model"}]} {"prompt":"The prompt you used to generate the model response","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your model generated","modelIdentifier":"A string identifying your model"}]} {"prompt":"The prompt you used to generate the model response","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your model generated","modelIdentifier":"A string identifying your model"}]} {"prompt":"The prompt you used to generate the model response","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your model generated","modelIdentifier":"A string identifying your model"}]} ``` Contoh berikut menunjukkan entri tunggal dalam kumpulan data prompt diperluas untuk kejelasan. ``` { "prompt": "What is high intensity interval training?", "referenceResponse": "High-Intensity Interval Training (HIIT) is a cardiovascular exercise approach that involves short, intense bursts of exercise followed by brief recovery or rest periods.", "category": "Fitness", "modelResponses": [ { "response": "High intensity interval training (HIIT) is a workout strategy that alternates between short bursts of intense, maximum-effort exercise and brief recovery periods, designed to maximize calorie burn and improve cardiovascular fitness.", "modelIdentifier": "my_model" } ] } ``` # Gunakan metrik untuk memahami kinerja model Ketika Anda menjalankan pekerjaan evaluasi model berbasis juri, model evaluator yang Anda pilih menggunakan satu set metrik untuk mengkarakterisasi kinerja model yang sedang dievaluasi. Amazon Bedrock menyediakan sejumlah metrik bawaan yang dapat Anda pilih, atau Anda dapat menentukan metrik Anda sendiri. Tabel berikut mencantumkan metrik bawaan yang tersedia di Amazon Bedrock untuk pekerjaan evaluasi yang menggunakan LLM sebagai juri. Untuk mempelajari selengkapnya tentang menggunakan metrik kustom, lihat [Buat prompt untuk metrik kustom](model-evaluation-custom-metrics-prompt-formats.md) dan[Membuat pekerjaan evaluasi model menggunakan metrik kustom](model-evaluation-custom-metrics-create-job.md). | Metrik | Deskripsi | | --- | --- | | Kebenaran () Builtin.Correctness | Mengukur apakah respons model terhadap prompt sudah benar. Perhatikan bahwa jika Anda memberikan respons referensi (ground truth) sebagai bagian dari [kumpulan data prompt](model-evaluation-prompt-datasets-judge.md) Anda, model evaluator mempertimbangkan hal ini saat menilai respons. | | Kelengkapan () Builtin.Completeness | Mengukur seberapa baik respons model menjawab setiap pertanyaan dalam prompt. Perhatikan bahwa jika Anda memberikan respons referensi (ground truth) sebagai bagian dari [kumpulan data prompt](model-evaluation-prompt-datasets-judge.md) Anda, model evaluator mempertimbangkan hal ini saat menilai respons. | | Kesetiaan () Builtin.Faithfulness | Mengidentifikasi apakah respons berisi informasi yang tidak ditemukan dalam prompt untuk mengukur seberapa setia respons terhadap konteks yang tersedia. | | Membantu () Builtin.Helpfulness | Mengukur seberapa membantu respons model. Evaluasi menggunakan faktor-faktor termasuk apakah respons mengikuti instruksi yang diberikan, apakah respons tersebut masuk akal dan koheren, dan apakah respons mengantisipasi kebutuhan dan harapan implisit. | | Koherensi logis () Builtin.Coherence | Mengukur seberapa koheren respons dengan mengidentifikasi kesenjangan logis, inkonsistensi, dan kontradiksi dalam respons model terhadap prompt. | | Relevansi () Builtin.Relevance | Mengukur seberapa relevan jawabannya dengan prompt. | | Mengikuti instruksi (Builtin.FollowingInstructions) | Mengukur seberapa baik respons model menghormati arah yang tepat yang ditemukan dalam prompt. | | Gaya dan nada profesional (Builtin.ProfessionalStyleAndTone) | Mengukur seberapa tepat gaya, format, dan nada respons untuk pengaturan profesional. | | Bahaya () Builtin.Harmfulness | Mengevaluasi apakah respons mengandung konten berbahaya. | | Stereotip () Builtin.Stereotyping | Mengevaluasi apakah konten dalam respons mengandung stereotip dalam bentuk apa pun (baik positif atau negatif). | | Penolakan () Builtin.Refusal | Menentukan apakah respons secara langsung menolak untuk menjawab prompt atau menolak permintaan dengan memberikan alasan. | # Petunjuk evaluator metrik bawaan untuk model-as-a-judge pekerjaan evaluasi Saat Anda menjalankan pekerjaan evaluasi model berbasis juri, model *evaluator menilai* respons *model generator* sesuai dengan sekumpulan metrik yang Anda tentukan. Amazon Bedrock menawarkan sejumlah metrik bawaan, atau Anda dapat menentukan metrik [kustom](model-evaluation-custom-metrics-prompt-formats.md) Anda sendiri. Lihat bagian berikut untuk melihat petunjuk yang digunakan oleh model evaluator yang tersedia untuk metrik bawaan Amazon Bedrock. **Topics** + [Amazon Nova Pro](model-evaluation-type-judge-prompt-nova.md) + [Anthropic Claude 3.5 Sonnet](model-evaluation-type-judge-prompt-claude-sonnet.md) + [AnthropicClaude 3.5 Sonnetv2](model-evaluation-type-judge-prompt-claude-sonnet35v2.md) + [Anthropic Claude 3.7 Sonnet](model-evaluation-type-judge-prompt-claude-sonnet37.md) + [Anthropic Claude 3 Haiku](model-evaluation-type-judge-prompt-haiku.md) + [Anthropic Claude 3.5 Haiku](model-evaluation-type-judge-prompt-haiku35.md) + [Meta Llama 3.1 70B Instruct](model-evaluation-type-judge-prompt-llama.md) + [Mistral Large](model-evaluation-type-judge-prompt-mistral.md) # Amazon Nova Pro Prompt yang digunakan denganAmazon Nova Pro. ## Koherensi logis *Koherensi logis* — Mencari kesenjangan logis, inkonsistensi, dan kontradiksi dalam respons model terhadap prompt. Respons dinilai pada skala Likert 5 poin, dan kemudian dinormalisasi dalam output dan rapor pekerjaan. `{{prompt}}`Akan berisi prompt yang dikirim ke generator dari dataset Anda, dan itu `{{prediction}}` adalah respons model generator. ``` You are a helpful agent that can assess LLM response according to the given rubrics. You are given a question and a response from LLM. Your task is to check if the arguments presented in the response follow logically from one another. When evaluating the logical cohesion of the response, consider the following rubrics: 1. Check for self-contradictions: - Does the response contradict its own previous statements? - If chat history is provided, does the response contradict statements from previous turns without explicitly correcting itself? 2. Identify any logic gaps or errors in reasoning: - Does the response draw false conclusions from the available information? - Does it make "logical leaps" by skipping steps in an argument? - Are there instances where you think, "this does not follow from that" or "these two things cannot be true at the same time"? 3. Evaluate the soundness of the reasoning, not the soundness of the claims: - If the question asks that a question be answered based on a particular set of assumptions, take those assumptions as the basis for argument, even if they are not true. - Evaluate the logical cohesion of the response as if the premises were true. 4. Distinguish between logical cohesion and correctness: - Logical cohesion focuses on how the response arrives at the answer, not whether the answer itself is correct. - A correct answer reached through flawed reasoning should still be penalized for logical cohesion. 5. Relevance of Logical Reasoning: - If the response doesn't require argumentation or inference-making, and simply presents facts without attempting to draw conclusions, it can be considered logically cohesive by default. - In such cases, automatically rate the logical cohesion as 'Yes', as there's no logic gaps. Please rate the logical cohesion of the response based on the following scale: - Not at all: The response contains too many errors of reasoning to be usable, such as contradicting itself, major gaps in reasoning, or failing to present any reasoning where it is required. - Not generally: The response contains a few instances of coherent reasoning, but errors reduce the quality and usability. - Neutral/Mixed: It's unclear whether the reasoning is correct or not, as different users may disagree. The output is neither particularly good nor particularly bad in terms of logical cohesion. - Generally yes: The response contains small issues with reasoning, but the main point is supported and reasonably well-argued. - Yes: There are no issues with logical cohesion at all. The output does not contradict itself, and all reasoning is sound. Here is the actual task: Question: {{prompt}} Response: {{prediction}} The output should be a well-formatted JSON instance that conforms to the JSON schema below. As an example, for the schema {"properties": {"foo": {"title": "Foo", "description": "a list of strings", "type": "array", "items": {"type": "string"}}}, "required": ["foo"]} the object {"foo": ["bar", "baz"]} is a well-formatted instance of the schema. The object {"properties": {"foo": ["bar", "baz"]}} is not well-formatted. Here is the output JSON schema: ``` {"properties": {"reasoning": {"description": "step by step reasoning to derive the final answer", "title": "Reasoning", "type": "string"}, "answer": {"description": "answer should be one of `Not at all`, `Not generally`, `Neutral/Mixed`, `Generally yes`, `Yes`", "enum": ["Not at all", "Not generally", "Neutral/Mixed", "Generally yes", "Yes"], "title": "Answer", "type": "string"}}, "required": ["reasoning", "answer"]} ``` Do not return any preamble or explanations, return only a pure JSON string surrounded by triple backticks (```). ``` ### Pemetaan skor + **Tidak sama sekali**: `0.0` + **Tidak secara umum**: `1.0` + **Netral/Campuran**: `2.0` + **Umumnya ya**: `3.0` + **Ya**: `4.0` ## Kesetiaan *Kesetiaan* — Melihat apakah respons berisi informasi yang tidak ditemukan dalam prompt, yang tidak dapat disimpulkan dengan mudah dari prompt. Respons dinilai skala Likert 5 poin, dan kemudian dinormalisasi dalam output dan rapor pekerjaan. `{{prompt}}`Akan berisi prompt yang dikirim ke generator dari dataset Anda, dan itu `{{prediction}}` adalah respons model generator. ``` You are given a task in some context (Input), and a candidate answer. Is the candidate answer faithful to the task description and context? If the model gives an evasive response without any information, the candidate answer is faithful by default. A response is unfaithful only when (1) it clearly contradicts the context, or (2) the task implies that the response must be based on the context, like in a summarization task. If the task does not ask to respond based on the context, the model is allowed to use its own knowledge to provide a response, even if its claims are not verifiable. Task: {{prompt}} Candidate Response: {{prediction}} Evaluate how much of the information in the answer is faithful to the available context. Label an evasive response as faithful. The output should be formatted as a XML file. 1. Output should conform to the tags below. 2. Remember to always open and close all the tags. 3. Do not invent new tags. As an example, for the tags ["foo", "bar", "baz"]: 1. String ""answerContent": {
"evaluationResults": {
"thumbsUpDown": [{
"metricName": "Relevance",
"modelResponseId": "0",
"result": false
}]
}
} | Daftar objek JSON yang berisi respons pekerja di`answerContent`. |
| `humanLoopName` | String | system-generated-hash | Sebuah sistem menghasilkan string hex 40 karakter. |
| inputRecord | Objek JSON | "inputRecord": {
"prompt": "What does vitamin C serum do for skin?",
"category": "Skincare",
"referenceResponse": "Vitamin C serum offers a range of benefits for the skin. Firstly, it acts....
} | Sebuah objek JSON yang berisi prompt entri dari dataset input. |
| modelResponses | Daftar objek JSON | "modelResponses": [{
"modelIdentifier": "arn:aws:bedrock:us-west-2::foundation-model/model-id",
"response": "the-models-response-to-the-prompt"
}] | Tanggapan individu dari model. |
| inputContent | Objek | {
"additionalDataS3Uri":"s3://user-specified-S3-URI-path/datasets/dataset-name/records/record-number/human-loop-additional-data.json",
"evaluationMetrics":[
{
"description":"testing",
"metricName":"IndividualLikertScale",
"ratingMethod":"IndividualLikertScale"
}
],
"instructions":"example instructions"
} | Konten input loop manusia diperlukan untuk memulai loop manusia di bucket S3 Anda. |
| modelResponseIdMap | Objek | {
"0":"arn:aws:bedrock:us-west-2::foundation-model/model-id"
} | `humanAnswers.answerContent.evaluationResults`berisi `modelResponseId` s. `modelResponseIdMap`Menghubungkan `modelResponseId` ke nama model. |
Berikut ini adalah contoh data keluaran dari pekerjaan evaluasi model.
```
{
"humanEvaluationResult": [{
"flowDefinitionArn": "arn:aws:sagemaker:us-west-2:111122223333:flow-definition/flow-definition-name",
"humanAnswers": [{
"acceptanceTime": "2023-11-09T19:17:43.107Z",
"answerContent": {
"evaluationResults": {
"thumbsUpDown": [{
"metricName": "Coherence",
"modelResponseId": "0",
"result": false
}, {
"metricName": "Accuracy",
"modelResponseId": "0",
"result": true
}],
"individualLikertScale": [{
"metricName": "Toxicity",
"modelResponseId": "0",
"result": 1
}]
}
},
"submissionTime": "2023-11-09T19:17:52.101Z",
"timeSpentInSeconds": 8.994,
"workerId": "444455556666",
"workerMetadata": {
"identityData": {
"identityProviderType": "Cognito",
"issuer": "https://cognito-idp.Wilayah AWS.amazonaws.com/Wilayah AWS_111222",
"sub": "c6aa8eb7-9944-42e9-a6b9-"
}
}
}],
...Additional response have been truncated for clarity...
}],
"humanLoopName": "b3b1c64a2166e001e094123456789012",
"inputContent":{
"additionalDataS3Uri":"s3://user-specified-S3-output-path/datasets/dataset-name/records/record-number/human-loop-additional-data.json",
"evaluationMetrics":[
{
"description":"testing",
"metricName":"IndividualLikertScale",
"ratingMethod":"IndividualLikertScale"
}
],
"instructions":"some dummy instructions"
},
"modelResponseIdMap":{
"0":"arn:aws:bedrock:Wilayah AWS::foundation-model/model-id"
}
},
"inputRecord": {
"category": "Fitness",
"prompt": "Human: What is High-Intensity Interval Training ? \\n\\nAssistant:",
"referenceResponse": "High-Intensity Interval Training (HIIT) is a cardiovascular exercise approach that involves short, intense bursts of exercise followed by brief recovery or rest periods. In HIIT, you perform exercises at near-maximum effort during the high-intensity intervals, which can include activities like sprinting, cycling, jumping, or body weight exercises such as burpees or push-ups. These intense intervals are interspersed with short recovery periods to lower your heart rate before the next high-intensity bout. HIIT workouts usually consist of multiple cycles of these intervals, and the number of cycles and the length of intervals can vary. HIIT is known for its time efficiency, making it an excellent choice for those with busy schedules. It offers both aerobic and anaerobic benefits, improving cardiovascular fitness, burning calories, and promoting fat loss, all while boosting metabolism for continued calorie burning post-workout."
},
"modelResponses": [{
"modelIdentifier": "arn:aws:bedrock:Wilayah AWS::foundation-model/model-id",
"response": " High-intensity interval training (HIIT) is a form of exercise that involves short bursts of intense activity alternated with recovery periods. Here are some key features of HIIT:\n\n- Alternates short periods of intense anaerobic exercise with less intense recovery periods. The high-intensity periods are typically done at 80-95% of maximum heart rate.\n\n- The duration of the intense periods can range from 5 seconds to 8 minutes, but typically are in the range of 30 seconds to 4 minutes.\n\n- The total HIIT session typically lasts between 10-30 minutes, including warm-up, recovery periods, and cool down. \n\n- Uses exercises like sprints, cycling, rowing, jumping rope, stair climbing, swimming, etc. Movements that get your heart rate up quickly.\n\n- The short, intense intervals help improve cardiovascular fitness by increasing heart rate and oxygen consumption.\n\n- HIIT burns more calories and fat than steady-state cardio in a shorter time period. It also helps build muscle strength and endurance.\n\n- Considered an efficient and effective form of exercise for fat loss and improving aerobic power. But it requires motivation to push yourself during the intense intervals.\n\n- Not suitable for beginners due to the high-intensity. Start with steady-state cardio and build up endurance before trying HIIT.\n\nIn summary, HIIT intersperses intense bursts of"
}]
}
}
```
Tabel berikut menjelaskan bagaimana **metode Penilaian** yang Anda pilih untuk setiap metrik di konsol Amazon Bedrock ditampilkan di bucket Amazon S3 Anda. Child-key pertama di bawah `evaluationResults` ini adalah bagaimana **metode Rating dikembalikan**.
**Bagaimana metode penilaian yang dipilih di konsol Amazon Bedrock disimpan di Amazon S3**
| Metode penilaian dipilih | Disimpan di Amazon S3 |
| --- | --- |
| Skala Likert - Individu | IndividualLikertScale |
| Skala Likert - Perbandingan | ComparisonLikertScale |
| Tombol pilihan | ComparisonChoice |
| Peringkat ordinal | ComparisonRank |
| Jempol ke atas/bawah | ThumbsUpDown |
# Manajemen data dan enkripsi dalam pekerjaan evaluasi Amazon Bedrock
Selama pekerjaan evaluasi model, Amazon Bedrock membuat salinan sementara data Anda dan menyimpannya di bucket Amazon AWS S3 milik. Amazon Bedrock menghapus data ini setelah pekerjaan selesai. Amazon Bedrock mengenkripsi data ini menggunakan kunci. AWS KMS Anda dapat memilih untuk menentukan AWS KMS kunci Anda sendiri atau menggunakan kunci milik Amazon Bedrock untuk mengenkripsi data.
Saat Anda membuat pekerjaan evaluasi model menggunakan AWS SDK Konsol Manajemen AWS, atau yang didukung AWS CLI, Anda dapat memilih untuk menggunakan kunci KMS milik Amazon Bedrock atau kunci yang dikelola pelanggan Anda sendiri. Jika tidak ada kunci terkelola pelanggan yang ditentukan maka kunci milik Amazon Bedrock digunakan secara default.
Untuk menggunakan kunci yang dikelola pelanggan, Anda harus menambahkan tindakan dan sumber daya IAM yang diperlukan ke kebijakan peran layanan IAM. Anda juga harus menambahkan elemen kebijakan AWS KMS kunci yang diperlukan.
**Topics**
+ [Diperlukan Elemen kebijakan utama untuk mengenkripsi pekerjaan evaluasi model Anda menggunakan AWS KMS](model-evaluation-security-kms.md)
+ [AWS Key Management Service dukungan dalam pekerjaan evaluasi model](model-evaluation-security-data.md)
+ [Enkripsi data untuk pekerjaan evaluasi basis pengetahuan](rag-evaluation-security-data.md)
# Diperlukan Elemen kebijakan utama untuk mengenkripsi pekerjaan evaluasi model Anda menggunakan AWS KMS
Setiap AWS KMS kunci harus memiliki satu kebijakan kunci. Pernyataan dalam kebijakan kunci menentukan siapa yang memiliki izin untuk menggunakan AWS KMS kunci dan bagaimana mereka dapat menggunakannya. Anda juga dapat menggunakan kebijakan dan hibah IAM untuk mengontrol akses ke AWS KMS kunci, tetapi setiap AWS KMS kunci harus memiliki kebijakan kunci.
**Elemen kebijakan AWS KMS utama yang diperlukan di Amazon Bedrock**
+ `kms:Decrypt`— Untuk file yang telah Anda enkripsi dengan AWS Key Management Service kunci Anda, berikan Amazon Bedrock izin untuk mengakses dan mendekripsi file-file tersebut.
+ `kms:GenerateDataKey`— Mengontrol izin untuk menggunakan AWS Key Management Service kunci untuk menghasilkan kunci data. Amazon Bedrock menggunakan `GenerateDataKey` untuk mengenkripsi data sementara yang disimpannya untuk pekerjaan evaluasi.
+ `kms:DescribeKey`— Memberikan informasi rinci tentang kunci KMS.
Anda harus menambahkan pernyataan berikut ke kebijakan AWS KMS kunci yang ada. Ini memberi Amazon Bedrock izin untuk menyimpan sementara data Anda di bucket layanan Amazon Bedrock menggunakan AWS KMS yang telah Anda tentukan.
```
{
"Effect": "Allow",
"Principal": {
"Service": "bedrock.amazonaws.com"
},
"Action": [
"kms:GenerateDataKey",
"kms:Decrypt",
"kms:DescribeKey"
],
"Resource": "*",
"Condition": {
"StringLike": {
"kms:EncryptionContext:evaluationJobArn": "arn:aws:bedrock:{{region}}:{{accountId}}:evaluation-job/*",
"aws:SourceArn": "arn:aws:bedrock:{{region}}:{{accountId}}:evaluation-job/*"
}
}
}
```
Berikut ini adalah contoh AWS KMS kebijakan lengkap.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Id": "key-consolepolicy-3",
"Statement": [
{
"Sid": "EnableIAMUserPermissions",
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::111122223333:root"
},
"Action": "kms:*",
"Resource": "*"
},
{
"Sid": "BedrockDataKeyAndDecrypt",
"Effect": "Allow",
"Principal": {
"Service": "bedrock.amazonaws.com"
},
"Action": [
"kms:GenerateDataKey",
"kms:Decrypt"
],
"Resource": "*",
"Condition": {
"ArnLike": {
"kms:EncryptionContext:evaluationJobArn": "arn:aws:bedrock:us-east-1:123456789012:evaluation-job/*",
"aws:SourceArn": "arn:aws:bedrock:us-east-1:123456789012:evaluation-job/*"
}
}
},
{
"Sid": "BedrockDescribeKey",
"Effect": "Allow",
"Principal": {
"Service": "bedrock.amazonaws.com"
},
"Action": "kms:DescribeKey",
"Resource": "*",
"Condition": {
"ArnLike": {
"aws:SourceArn": "arn:aws:bedrock:us-east-1:123456789012:evaluation-job/*"
}
}
}
]
}
```
------
## Menyiapkan izin KMS untuk peran yang memanggil API CreateEvaluationJob
Pastikan Anda memiliki DescribeKey, GenerateDataKey, dan Dekripsi izin untuk peran Anda yang digunakan untuk membuat pekerjaan evaluasi pada kunci KMS yang Anda gunakan dalam pekerjaan evaluasi Anda.
Contoh kebijakan kunci KMS
```
{
"Statement": [
{
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::account-id:role/APICallingRole"
},
"Action": [
"kms:Decrypt",
"kms:GenerateDataKey",
"kmsDescribeKey"
],
"Resource": "*"
}
]
}
```
Contoh Kebijakan IAM untuk API Panggilan CreateEvaluationJob Peran
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "CustomKMSKeyProvidedToBedrockEncryption",
"Effect": "Allow",
"Action": [
"kms:GenerateDataKey",
"kms:Decrypt",
"kms:DescribeKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/keyYouUse"
]
}
]
}
```
------
# AWS Key Management Service dukungan dalam pekerjaan evaluasi model
Amazon Bedrock menggunakan IAM berikut dan AWS KMS izin untuk menggunakan AWS KMS kunci Anda untuk mendekripsi file Anda dan mengaksesnya. Ini menyimpan file-file tersebut ke lokasi Amazon S3 internal yang dikelola oleh Amazon Bedrock dan menggunakan izin berikut untuk mengenkripsi mereka.
## Persyaratan kebijakan IAM
Kebijakan IAM yang terkait dengan peran IAM yang Anda gunakan untuk membuat permintaan ke Amazon Bedrock harus memiliki elemen berikut. Untuk mempelajari lebih lanjut tentang mengelola AWS KMS kunci Anda, lihat [Menggunakan kebijakan IAM dengan AWS Key Management Service](https://docs.aws.amazon.com/kms/latest/developerguide/iam-policies.html).
Pekerjaan evaluasi model di Amazon Bedrock menggunakan kunci yang AWS dimiliki. Kunci KMS ini dimiliki oleh Amazon Bedrock. Untuk mempelajari selengkapnya tentang AWS kunci yang [AWS dimiliki, lihat kunci](https://docs.aws.amazon.com/kms/latest/developerguide/concepts.html#aws-owned-cmk) yang dimiliki di *Panduan AWS Key Management Service Pengembang*.
**Elemen kebijakan IAM yang diperlukan**
+ `kms:Decrypt`— Untuk file yang telah Anda enkripsi dengan AWS Key Management Service kunci Anda, berikan Amazon Bedrock izin untuk mengakses dan mendekripsi file-file tersebut.
+ `kms:GenerateDataKey`— Mengontrol izin untuk menggunakan AWS Key Management Service kunci untuk menghasilkan kunci data. Amazon Bedrock menggunakan `GenerateDataKey` untuk mengenkripsi data sementara yang disimpannya untuk pekerjaan evaluasi.
+ `kms:DescribeKey`— Memberikan informasi rinci tentang kunci KMS.
+ `kms:ViaService`— Kunci kondisi membatasi penggunaan kunci KMS untuk permintaan dari AWS layanan tertentu. Anda harus menentukan Amazon S3 sebagai layanan karena Amazon Bedrock menyimpan salinan sementara data Anda di lokasi Amazon S3 yang dimilikinya.
Berikut ini adalah contoh kebijakan IAM yang hanya berisi tindakan dan sumber daya AWS KMS IAM yang diperlukan.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "CustomKMSKeyProvidedToBedrock",
"Effect": "Allow",
"Action": [
"kms:Decrypt",
"kms:GenerateDataKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/[[keyId]]"
]
},
{
"Sid": "CustomKMSDescribeKeyProvidedToBedrock",
"Effect": "Allow",
"Action": [
"kms:DescribeKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/[[keyId]]"
]
}
]
}
```
------
### Menyiapkan izin KMS untuk peran yang memanggil API CreateEvaluationJob
Pastikan Anda memiliki DescribeKey, GenerateDataKey, dan Dekripsi izin untuk peran Anda yang digunakan untuk membuat pekerjaan evaluasi pada kunci KMS yang Anda gunakan dalam pekerjaan evaluasi Anda.
Contoh kebijakan kunci KMS
```
{
"Statement": [
{
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::account-id:role/APICallingRole"
},
"Action": [
"kms:Decrypt",
"kms:GenerateDataKey",
"kmsDescribeKey"
],
"Resource": "*"
}
]
}
```
Contoh Kebijakan IAM untuk API Panggilan CreateEvaluationJob Peran
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "CustomKMSKeyProvidedToBedrockEncryption",
"Effect": "Allow",
"Action": [
"kms:GenerateDataKey",
"kms:Decrypt",
"kms:DescribeKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/keyYouUse"
]
}
]
}
```
------
# Enkripsi data untuk pekerjaan evaluasi basis pengetahuan
Selama pekerjaan evaluasi basis pengetahuan, Amazon Bedrock membuat salinan sementara data Anda. Amazon Bedrock menghapus data setelah pekerjaan selesai. Untuk mengenkripsi data, Amazon Bedrock menggunakan kunci KMS. Ini menggunakan kunci KMS yang Anda tentukan atau kunci yang dimiliki Amazon Bedrock.
Amazon Bedrock memerlukan IAM dan AWS KMS izin di bagian berikut sehingga dapat menggunakan kunci KMS Anda untuk melakukan hal berikut:
+ Dekripsi data Anda.
+ Enkripsi salinan sementara yang dibuat Amazon Bedrock.
Saat membuat pekerjaan evaluasi basis pengetahuan, Anda dapat memilih untuk menggunakan kunci KMS yang dimiliki Amazon Bedrock, atau Anda dapat memilih kunci yang dikelola pelanggan Anda sendiri. Jika Anda tidak menentukan kunci yang dikelola pelanggan, Amazon Bedrock menggunakan kuncinya secara default.
Sebelum Anda dapat menggunakan kunci yang dikelola pelanggan, Anda harus melakukan hal berikut:
+ Tambahkan tindakan dan sumber daya IAM yang diperlukan ke kebijakan peran layanan IAM.
+ Tambahkan elemen kebijakan kunci KMS yang diperlukan.
+ Buat kebijakan yang dapat berinteraksi dengan kunci yang dikelola pelanggan. Ini ditentukan dalam kebijakan kunci KMS terpisah.
## Elemen kebijakan yang diperlukan
Kebijakan utama IAM dan KMS di bagian berikut mencakup elemen-elemen berikut yang diperlukan:
+ `kms:Decrypt`— Untuk file yang telah Anda enkripsi dengan kunci KMS Anda, berikan Amazon Bedrock izin untuk mengakses dan mendekripsi file-file tersebut.
+ `kms:GenerateDataKey`— Mengontrol izin untuk menggunakan kunci KMS untuk menghasilkan kunci data. Amazon Bedrock menggunakan `GenerateDataKey` untuk mengenkripsi data sementara yang disimpan untuk pekerjaan evaluasi.
+ `kms:DescribeKey`— Memberikan informasi rinci tentang kunci KMS.
+ `kms:ViaService`— Kunci kondisi membatasi penggunaan kunci KMS untuk meminta dari AWS layanan tertentu. Anda harus menentukan layanan berikut:
+ Amazon S3, karena Amazon Bedrock menyimpan salinan sementara data Anda di lokasi Amazon S3 yang dimiliki Amazon Bedrock.
+ Amazon Bedrock, karena layanan evaluasi memanggil Amazon Bedrock Knowledge Bases API untuk menjalankan alur kerja basis pengetahuan.
+ `kms:EncryptionContext:context-key`— Kunci kondisi ini membatasi akses ke AWS KMS operasi sehingga hanya spesifik untuk [konteks enkripsi](https://docs.aws.amazon.com/kms/latest/developerguide/encrypt_context.html) yang disediakan.
## Persyaratan kebijakan IAM
Dalam peran IAM yang Anda gunakan dengan Amazon Bedrock, kebijakan IAM terkait harus memiliki elemen berikut. Untuk mempelajari lebih lanjut tentang mengelola AWS KMS kunci Anda, lihat [Menggunakan kebijakan IAM dengan AWS KMS](https://docs.aws.amazon.com/kms/latest/developerguide/iam-policies.html).
Pekerjaan evaluasi basis pengetahuan di Amazon Bedrock menggunakan kunci yang AWS dimiliki. Untuk informasi selengkapnya tentang AWS kunci yang [AWS dimiliki, lihat kunci](https://docs.aws.amazon.com/kms/latest/developerguide/concepts.html#aws-owned-cmk) yang dimiliki di *Panduan AWS Key Management Service Pengembang*.
Berikut ini adalah contoh kebijakan IAM yang hanya berisi AWS KMS tindakan dan sumber daya yang diperlukan:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "CustomKMSKeyProvidedToBedrockEncryption",
"Effect": "Allow",
"Action": [
"kms:GenerateDataKey",
"kms:Decrypt"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/*"
],
"Condition": {
"StringEquals": {
"kms:ViaService": [
"s3.us-east-1.amazonaws.com"
]
}
}
},
{
"Sid": "CustomKMSKeyProvidedToBedrockEvalKMS",
"Effect": "Allow",
"Action": [
"kms:Decrypt",
"kms:GenerateDataKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/*"
],
"Condition": {
"StringLike": {
"kms:EncryptionContext:evaluationJobArn": "arn:aws:bedrock:us-east-1:123456789012:evaluation-job/*"
}
}
},
{
"Sid": "CustomKMSKeyProvidedToBedrockKBDecryption",
"Effect": "Allow",
"Action": [
"kms:Decrypt"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/*"
],
"Condition": {
"StringLike": {
"kms:EncryptionContext:knowledgeBaseArn": "arn:aws:bedrock:us-east-1:123456789012:knowledge-base/*"
}
}
},
{
"Sid": "CustomKMSKeyProvidedToBedrockKBEncryption",
"Effect": "Allow",
"Action": [
"kms:GenerateDataKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/*"
],
"Condition": {
"StringLike": {
"kms:EncryptionContext:knowledgeBaseArn": "arn:aws:bedrock:us-east-1:123456789012:knowledge-base/*"
},
"StringEquals": {
"kms:ViaService": [
"bedrock.us-east-1.amazonaws.com"
]
}
}
},
{
"Sid": "CustomKMSKeyProvidedToBedrockKBGenerateDataKey",
"Effect": "Allow",
"Action": [
"kms:GenerateDataKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/*"
],
"Condition": {
"StringLike": {
"kms:EncryptionContext:CustomerAwsAccountId": "123456789012",
"kms:EncryptionContext:SessionId": "*"
},
"StringEquals": {
"kms:ViaService": [
"bedrock.us-east-1.amazonaws.com"
]
}
}
},
{
"Sid": "CustomKMSDescribeKeyProvidedToBedrock",
"Effect": "Allow",
"Action": [
"kms:DescribeKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/*"
]
}
]
}
```
------
## AWS KMS persyaratan kebijakan utama
Setiap kunci KMS harus memiliki satu kebijakan utama. Pernyataan dalam kebijakan kunci menentukan siapa yang memiliki izin untuk menggunakan kunci KMS dan bagaimana mereka dapat menggunakannya. Anda juga dapat menggunakan kebijakan dan hibah IAM untuk mengontrol akses ke kunci KMS, tetapi setiap kunci KMS harus memiliki kebijakan utama.
Anda harus menambahkan pernyataan berikut ke kebijakan kunci KMS yang ada. Ini memberi Amazon Bedrock izin untuk menyimpan sementara data Anda dalam bucket S3 menggunakan kunci KMS yang telah Anda tentukan.
### Menyiapkan izin KMS untuk peran yang memanggil API CreateEvaluationJob
Pastikan Anda memiliki DescribeKey, GenerateDataKey, dan Dekripsi izin untuk peran Anda yang digunakan untuk membuat pekerjaan evaluasi pada kunci KMS yang Anda gunakan dalam pekerjaan evaluasi Anda.
Contoh kebijakan kunci KMS
```
{
"Statement": [
{
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::account-id:role/APICallingRole"
},
"Action": [
"kms:Decrypt",
"kms:GenerateDataKey",
"kmsDescribeKey"
],
"Resource": "*"
}
]
}
```
Contoh Kebijakan IAM untuk API Panggilan CreateEvaluationJob Peran
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "CustomKMSKeyProvidedToBedrockEncryption",
"Effect": "Allow",
"Action": [
"kms:GenerateDataKey",
"kms:Decrypt",
"kms:DescribeKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/keyYouUse"
]
}
]
}
```
------
# CloudTrail peristiwa manajemen dalam pekerjaan evaluasi model
[Peristiwa manajemen](https://docs.aws.amazon.com/awscloudtrail/latest/userguide/logging-management-events-with-cloudtrail.html#logging-management-events) memberikan informasi tentang operasi sumber daya yang dilakukan pada atau di sumber daya (misalnya, membaca atau menulis ke objek Amazon S3). Ini juga dikenal sebagai operasi bidang data. Peristiwa data seringkali merupakan aktivitas volume tinggi yang CloudTrail tidak masuk secara default.
Peristiwa log pekerjaan evaluasi model untuk beberapa AWS layanan
**CloudTrail peristiwa data berdasarkan AWS layanan dalam pekerjaan evaluasi model**
+ **Amazon Bedrock**: Peristiwa data untuk semua inferensi model berjalan selama pekerjaan evaluasi model.
+ **Amazon SageMaker AI**: Peristiwa data untuk semua pekerjaan evaluasi model berbasis manusia.
+ **Amazon S3**: Peristiwa data untuk membaca dan menulis data ke bucket Amazon S3 yang ditentukan saat pekerjaan evaluasi model dibuat.
+ **AWS Key Management Service**: Peristiwa data yang terkait dengan penggunaan AWS KMS kunci yang dikelola pelanggan.