Coherence: Measures the organization and structure of a generated text. - Thumbs up/down\nAccuracy: Indicates the accuracy of a generated text. - Choice buttons
\nThe evaluation creator should use this space to write detailed descriptions for every rating method so your evaluators know how to properly rate the responses with the buttons on their screen.
\nIf using Likert scale - individual, define the 1 and 5 of the 5 point Likert scale for each metric so your evaluators know if 1 or 5 means favorable/acceptable/preferable.\nIf using Likert scale - comparison, describe what the evaluator is looking for to determine their preference between two responses.\nIf using Choice buttons, describe what is preferred according to your metric and its description.\nIf using Ordinal ranking, define what should receive a #1 ranking according to your metric and its description.\nIf using Thumbs up/down, define what makes an acceptable response according to your metric and its description.
\nDescribe the purpose of your ground truth responses that will be shown on screen next to each model response. Note that the ground truth responses you provide are not rated/scored by the evaluators - they are meant to be a reference standard for comparison against the model responses.
" } } }, "inferenceConfig": { "models": [ { "precomputedInferenceSource": { "inferenceSourceIdentifier": "llama-3-1-80b" } }, { "precomputedInferenceSource": { "inferenceSourceIdentifier": "my_other_model" } } ] }, "outputDataConfig": { "s3Uri": "s3://amzn-s3-demo-bucket/output/" } } ``` ------ #### [ SDK for Python ] 次のコード例は、SDK for Python 経由で人間の作業者を使用するモデル評価ジョブの作成方法を示しています。 ``` import boto3 client = boto3.client('bedrock') job_request = client.create_evaluation_job( jobName="111122223333-job-01", jobDescription="two different task types", roleArn="arn:aws:iam::111122223333:role/example-human-eval-api-role", inferenceConfig={ ## You must specify and array of models "models": [ { "bedrockModel": { "modelIdentifier":"arn:aws:bedrock:us-west-2::foundation-model/amazon.titan-text-lite-v1", "inferenceParams":"{\"inferenceConfig\":{\"maxTokens\": 512,\"temperature\":0.7,\"topP\":0.9}}" } }, { "bedrockModel": { "modelIdentifier": "anthropic.claude-v2", "inferenceParams": "{\"inferenceConfig\":{\"maxTokens\":512,\"temperature\":1,\"topP\":0.999,\"stopSequences\":[\"stop\"]},\"additionalModelRequestFields\":{\"top_k\": 128}}" } } ] }, outputDataConfig={ "s3Uri":"s3://job-bucket/outputs/" }, evaluationConfig={ "human": { "humanWorkflowConfig": { "flowDefinitionArn": "arn:aws:sagemaker:us-west-2:111122223333:flow-definition/example-workflow-arn", "instructions": "some human eval instruction" }, "customMetrics": [ { "name": "IndividualLikertScale", "description": "testing", "ratingMethod": "IndividualLikertScale" } ], "datasetMetricConfigs": [ { "taskType": "Summarization", "dataset": { "name": "Custom_Dataset1", "datasetLocation": { "s3Uri": "s3://job-bucket/custom-datasets/custom-trex.jsonl" } }, "metricNames": [ "IndividualLikertScale" ] } ] } } ) print(job_request) ``` ------ # Amazon Bedrock でヒューマンワーカーを使用するモデル評価ジョブを一覧表示する AWS CLI またはサポートされている AWS SDK を使用して、ヒューマンワーカーを使用する現在のモデル評価ジョブを一覧表示できます。Amazon Bedrock コンソールでは、現在のモデル評価ジョブを含むテーブルを表示することもできます。 次の例は、AWS マネジメントコンソール、AWS CLI および SDK for Python を使用してモデル評価ジョブを検索する方法を示しています。 ------ #### [ Amazon Bedrock console ] 1. Amazon Bedrock コンソール ([https://console.aws.amazon.com/bedrock/home](https://console.aws.amazon.com/bedrock/home)) を開きます。 1. ナビゲーションペインで、**[モデル評価]** を選択します。 1. **[モデル評価ジョブ]** カードで、すでに作成済みのモデル評価ジョブが一覧されているテーブルを検索します。 ------ #### [ AWS CLI ] AWS CLI で、`help` コマンドを使用すると、`list-evaluation-jobs` を使用する際の必須パラメータとオプションのパラメータを表示できます。 ``` aws bedrock list-evaluation-jobs help ``` 以下は、`list-evaluation-jobs` を使用して最大 5 つのジョブを返すことを指定した例を示しています。デフォルトでは、ジョブは開始された時刻から降順で返されます。 ``` aws bedrock list-evaluation-jobs --max-items 5 ``` ------ #### [ SDK for Python ] 次の例は、AWS SDK for Python を使用して以前作成したモデル評価ジョブを検索する方法を示しています。 ``` import boto3 client = boto3.client('bedrock') job_request = client.list_evaluation_jobs(maxResults=20) print (job_request) ``` ------ # Amazon Bedrock でモデル評価ジョブを停止する AWS マネジメントコンソール、AWS CLI またはサポートされている AWS SDK を使用すると、現在実行中のモデル評価ジョブを停止できます。 次の例は、AWS マネジメントコンソール、AWS CLI および SDK for Python を使用してモデル評価ジョブを停止する方法を示しています。 ------ #### [ Amazon Bedrock console ] 次の例は、AWS マネジメントコンソール を使用してモデル評価を停止する方法を示しています。 1. Amazon Bedrock コンソール ([https://console.aws.amazon.com/bedrock/home](https://console.aws.amazon.com/bedrock/home)) を開きます。 1. ナビゲーションペインで、**[モデル評価]** を選択します。 1. **[モデル評価ジョブ]** カードで、すでに作成済みのモデル評価ジョブが一覧されているテーブルを検索します。 1. ジョブ名の横にあるラジオボタンを選択します。 1. 次に、**[評価を停止]** を選択します。 ------ #### [ SDK for Python ] 次の例は、SDK for Python を使用してモデル評価ジョブを停止する方法を示しています。 ``` import boto3 client = boto3.client('bedrock') response = client.stop_evaluation_job( ## The ARN of the model evaluation job you want to stop. jobIdentifier='arn:aws:bedrock:us-west-2:444455556666:evaluation-job/fxaqujhttcza' ) print(response) ``` ------ #### [ AWS CLI ] AWS CLI で、`help` コマンドを使用すると、AWS CLI で `add-something` を指定する際の必要なパラメータおよびオプションのパラメータを確認できます。 ``` aws bedrock create-evaluation-job help ``` 次の例は、AWS CLI を使用してモデル評価を停止する方法を示しています。 ``` aws bedrock stop-evaluation-job --job-identifier arn:aws:bedrock:us-west-2:444455556666:evaluation-job/fxaqujhttcza ``` ------ # Delete a model evaluation job in Amazon Bedrock Amazon Bedrock、AWS CLI の [BatchDeleteEvaluationJob](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_BatchDeleteEvaluationJob.html) オペレーション、またはサポートされている AWS SDK を使用すると、モデル評価を削除できます。 モデル評価ジョブを削除する前に、ジョブの状態が、`FAILED`、`COMPLETED`、または `STOPPED` であることを確認します。ジョブの最新の状態は、Amazon Bedrock コンソールか、[ListEvaluationJobs](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListEvaluationJobs.html) を呼び出すことで確認できます。詳細については、「[Amazon Bedrock での自動モデル評価ジョブを一覧表示するAmazon Bedrock でヒューマンワーカーを使用するモデル評価ジョブを一覧表示する](model-evaluation-jobs-management-list.md)」を参照してください。 コンソールまたは、`BatchDeleteEvaluationJob` オペレーションを使用することで、1 度に最大 25 件のモデル評価を削除できます。さらにジョブを削除する必要がある場合は、コンソールの手順を繰り返すか、`BatchDeleteEvaluationJob` を呼び出します。 `BatchDeleteEvaluationJob` オペレーションを使用してモデル評価ジョブを削除する場合は、削除するモデルの Amazon リソースネーム (ARN) が必要です。モデルの ARN を取得する方法については、「[Amazon Bedrock での自動モデル評価ジョブを一覧表示するAmazon Bedrock でヒューマンワーカーを使用するモデル評価ジョブを一覧表示する](model-evaluation-jobs-management-list.md)」を参照してください。 モデル評価ジョブを削除すると、Amazon Bedrock と Amazon SageMaker AI のすべてのリソースが削除されます。Amazon S3 バケットに保存されたモデル評価ジョブは変更されません。また、ヒューマンワーカーを使用するモデル評価ジョブの場合、モデル評価ジョブを削除しても、Amazon Cognito や SageMaker AI で設定したワークフォースや作業チームは、削除されません。 以下のセクションでは、モデル評価ジョブを削除する方法の例を示しています。 ------ #### [ Amazon Bedrock console ] Amazon Bedrock コンソールで自動モデル評価ジョブを確認するには、次の手順に従います。この手順を正常に完了するには、IAM ユーザー、グループ、またはロールにコンソールにアクセスするための十分なアクセス許可がが付与されていることを確認します。詳細については[ヒューマンベースモデル評価ジョブの作成に必要なコンソールアクセス許可](model-evaluation-type-human.md#more-for-human)を参照してください。 **複数のモデル評価ジョブを削除するには。** 1. Amazon Bedrock コンソール ([https://console.aws.amazon.com/bedrock/](https://console.aws.amazon.com/bedrock/)) を開きます。 1. ナビゲーションペインで、**[モデル評価]** を選択します。 1. **[モデル評価ジョブ]** カードで、テーブルを使用して、削除するモデル評価ジョブを検索し、削除するジョブ名の横にあるチェックボックスをオンにします。最大 25 ジョブまで選択できます。 1. **[削除]** を選択してモデル評価ジョブを削除します。 1. さらにモデル評価ジョブを削除する必要がある場合は、ステップ 3 と 4 を繰り返します。 ------ #### [ AWS CLI ] AWS CLI では、`help` コマンドを使用して、 パラメータが必要であり、`batch-delete-evaluation-job` を使用する際にどのパラメータがオプションであるかを表示できます。 ``` aws bedrock batch-delete-evaluation-job help ``` 以下は、`batch-delete-evaluation-job` を使用して、2 つのモデル評価ジョブを削除するように指定した例です。`job-identifiers` パラメータを使用して、削除するモデル評価ジョブの ARNS リストを指定します。`batch-delete-evaluation-job` への 1 回の呼び出しで、最大 25 個のモデル評価ジョブを削除できます。さらにジョブを削除する必要がある場合は、`batch-delete-evaluation-job` にさらに呼び出します。 ``` aws bedrock batch-delete-evaluation-job \ --job-identifiers arn:aws:bedrock:us-east-1:111122223333:evaluation-job/rmqp8zg80rvg arn:aws:bedrock:us-east-1:111122223333:evaluation-job/xmfp9zg204fdk ``` 送信すると、次のレスポンスが表示されます。 ``` { "evaluationJobs": [ { "jobIdentifier": "rmqp8zg80rvg", "jobStatus": "Deleting" }, { "jobIdentifier": "xmfp9zg204fdk", "jobStatus": "Deleting" } ], "errors": [] } ``` ------ #### [ SDK for Python ] 次の例は、AWS SDK for Python を使用して、モデル評価ジョブを削除する方法を示しています。`jobIdentifiers` パラメータを使用して、削除するモデル評価ジョブの ARNS リストを指定します。`BatchDeleteEvaluationJob` への 1 回の呼び出しで、最大 25 個のモデル評価ジョブを削除できます。さらにジョブを削除する必要がある場合は、`BatchDeleteEvaluationJob` にさらに呼び出します。 ``` import boto3 client = boto3.client('bedrock') job_request = client.batch_delete_model_evaluation_job(jobIdentifiers=["arn:aws:bedrock:us-east-1:111122223333:evaluation-job/rmqp8zg80rvg", "arn:aws:bedrock:us-east-1:111122223333:evaluation-job/xmfp9zg204fdk"]) print (job_request) ``` ------ # Amazon Bedrock でモデルを人間が評価するための作業チームを管理する 人間の作業者が評価ジョブを担う場合は、作業チームを編成する必要があります。作業チームとは、**ユーザーが選択するワーカーのグループです。このチームには、社内の従業員や業界の専門家を含めることができます。 **Amazon Bedrock でのワーカーへの通知** Amazon Bedrock で評価ジョブを作成した場合、作業チームに初めて追加した作業者に*のみ*、各自に割り当てられたジョブの通知が届きます。 評価ジョブの作成中に作業チームから作業者を削除した場合、その作業者は、割り当てられた*すべて*の評価ジョブにアクセスできなくなります。 既存のヒューマンワーカーに新しい評価ジョブを割り当てる場合は、その人に直接通知し、ワーカーポータルの URL を提供する必要があります。作業者は、以前に作成したワーカーポータルのログイン認証情報を使用する必要があります。このワーカーポータルは、リージョンごとに AWS アカウント内のすべての評価ジョブで同じです。 評価ジョブの設定中に人間の作業チームを作成するか、既存のチームを管理できます。Amazon SageMaker Ground Truth によって管理される*プライベートワークフォース*に作業者を割り当ててください。Amazon SageMaker Ground Truth は、より高度なワークフォース管理機能をサポートしています。Amazon SageMaker Ground Truth でのワークフォース管理の詳細については、「[ワークフォースの作成と管理](https://docs.aws.amazon.com/sagemaker/latest/dg/sms-workforce-management.html)」を参照してください。 新しい評価ジョブを設定する際、作業チームから作業者を削除できます。それ以外の場合に Amazon Bedrock で作成した作業チームを管理するには、Amazon Cognito コンソールまたは Amazon SageMaker Ground Truth コンソールのいずれかを使用する必要があります。 IAM ユーザー、グループ、またはロールに必要な権限がある場合は、ヒューマンワーカーによる評価ジョブを作成する際に、Amazon Cognito、Amazon SageMaker Ground Truth、または Amazon Augmented AI で作成した既存のプライベートワークフォースとワークチームが表示されます。 Amazon Bedrock は、作業チームごとに最大 50 人のワーカーをサポートします。 E メールアドレスフィールドに、最大 50 人のチームメンバーの E メールアドレスを入力します。評価ジョブにさらに作業者を追加するには、Amazon Cognito コンソールまたは Ground Truth コンソールを使用します。アドレスはカンマ (,) で区切る必要があります。自分自身をワークフォースに含めて、ラベル付けタスクを参照できるようにするため、自分の E メールアドレスを含める必要があります。 ## ヒューマンワーカー向けの手順を作成する モデル評価ジョブに適切な指示書を作成することで、タスクの完了におけるワーカーの正解率が向上します。モデル評価ジョブの作成時にコンソールに表示されるデフォルトの指示書を変更できます。この指示書は、ラベリングタスクが完了した UI ページでワーカーに表示されます。 ワーカーが割り当てられたタスクを完了しやすくするため、2 つの場所に指示を追加することができます。 **各評価方法についてわかりやすい説明を記載する** 説明には、選択したメトリクスを簡潔に説明する必要があります。メトリクスを詳しく説明し、選択した評価方法をワーカーにどのように評価してもらいたいかを明確にします。 **ワーカーに全体的な評価指示を伝える** これらの指示書は、ワーカーがタスクを完了するのと同じウェブページに表示されます。このスペースでは、モデル評価タスクの大まかな方向性を示したり、プロンプトデータセットに含めている場合は、グラウンドトゥルースレスポンスについて説明したりすることができます。 # 別の LLM-as-a-judge を使用してモデルのパフォーマンスを評価する ジャッジモデルを使用するモデル評価ジョブでは、Amazon Bedrock は LLM を使用して別のモデルの応答をスコアリングし、プロンプトと応答の各ペアをどのようにスコアリングしたかを説明します。スコアと説明は、Amazon Bedrock コンソールの [[評価]](https://console.aws.amazon.com/bedrock/home#/eval/evaluation) ページから確認できます。 このようなモデル評価には、*ジェネレーターモデル*と*評価者モデル*という 2 つの異なるモデルが必要です。データセットでジェネレーターモデルのプロンプトを定義すると、選択したメトリクスに基づいて評価者モデルがそれらのプロンプトへの応答をスコアリングします。 コンソールのメトリクス概要カードには、応答に特定のスコアが付けられた回数を示すヒストグラムと、データセット内で見つかった最初の 5 つのプロンプトのスコアの説明が表示されます。完全な評価ジョブレポートは、モデル評価ジョブの作成時に指定した Amazon S3 バケットにあります。 モデル評価ジョブを作成するときは、ジェネレーターモデルとして Amazon Bedrock モデルを選択するか、プロンプトデータセットに独自の推論レスポンスデータを指定して Amazon Bedrock 以外のモデルを評価できます。独自の応答データを指定した場合、Amazon Bedrock はモデル呼び出しステップをスキップし、指定したデータを直接評価します。 ジェネレーターモデルの応答を評価するために、Amazon Bedrock には、選択可能な一連の組み込みメトリクスが用意されています。メトリクスごとに異なるプロンプトが評価者モデルで使用されます。特定のビジネスケース用に独自のカスタムメトリクスを定義することもできます。詳細については、「[メトリクスを使用してモデルのパフォーマンスを把握する](model-evaluation-metrics.md)」を参照してください。 ## サポートされているモデル ### サポートされている評価者モデル (組み込みメトリクス) Amazon Bedrock の組み込みメトリクスとともに LLM-as-a-judge を使用する評価ジョブを作成するには、次のリストのジャッジモデルのうち少なくとも 1 つに対するアクセス権が必要です。モデルに対するアクセス権の取得とリージョンの可用性の詳細については、「[Access Amazon Bedrock foundation models](model-access.md)」を参照してください。 + Amazon Nova Pro – `amazon.nova-pro-v1:0` + Anthropic Claude 3.5 Sonnet v1 – `anthropic.claude-3-5-sonnet-20240620-v1:0` + Anthropic Claude 3.5 Sonnet v2 – `anthropic.claude-3-5-sonnet-20241022-v2:0` + Anthropic Claude 3.7 Sonnet – `anthropic.claude-3-7-sonnet-20250219-v1:0` + Anthropic Claude 3 Haiku – `anthropic.claude-3-haiku-20240307-v1:0` + Anthropic Claude 3.5 Haiku – `anthropic.claude-3-5-haiku-20241022-v1:0` + Meta Llama 3.1 70B Instruct – `meta.llama3-1-70b-instruct-v1:0` + Mistral Large – `mistral.mistral-large-2402-v1:0` [クロスリージョン推論](cross-region-inference.md)プロファイルは、上記のモデルでサポートされています。詳細については[サポートされているクロスリージョン推論プロファイル](inference-profiles-support.md#inference-profiles-support-system)を参照してください。 ### サポートされている評価者モデル (カスタムメトリクス) カスタムメトリクスとともに LLM-as-a-judge を使用する評価ジョブを作成するには、次のリストのジャッジモデルのうち少なくとも 1 つに対するアクセス権が必要です。 + Mistral Large 24.02 – `mistral.mistral-large-2402-v1:0` + Mistral Large 24.07 – `mistral.mistral-large-2407-v1:0` + Anthropic Claude 3.5 Sonnet v1 – `anthropic.claude-3-5-sonnet-20240620-v1:0` + Anthropic Claude 3.5 Sonnet v2 – `anthropic.claude-3-5-sonnet-20241022-v2:0` + Anthropic Claude 3.7 Sonnet – `anthropic.claude-3-7-sonnet-20250219-v1:0` + Anthropic Claude 3 Haiku 3 – `anthropic.claude-3-haiku-20240307-v1:0` + Anthropic Claude 3 Haiku 3.5 – `anthropic.claude-3-5-haiku-20241022-v1:0` + Meta Llama 3.1 70B Instruct – `meta.llama3-1-70b-instruct-v1:0` + Meta Llama 3.3 70B Instruct – `meta.llama3-3-70b-instruct-v1:0` + Amazon Nova Pro – `amazon.nova-pro-v1:0` [クロスリージョン推論](cross-region-inference.md)プロファイルは、上記のモデルでサポートされています。詳細については[サポートされているクロスリージョン推論プロファイル](inference-profiles-support.md#inference-profiles-support-system)を参照してください。 ### サポートされているジェネレーターモデル Amazon Bedrock の次のモデルタイプを評価ジョブのジェネレーターモデルとして使用できます。Amazon Bedrock 以外のモデルから独自の推論レスポンスデータを取り込むこともできます。 + 基盤モデル – [Amazon Bedrock 基盤モデルの情報](foundation-models-reference.md) + Amazon Bedrock Marketplace モデル – [Amazon Bedrock Marketplace](amazon-bedrock-marketplace.md) + カスタマイズされた基盤モデル – [モデルをカスタマイズしてユースケースのパフォーマンスを向上させる](custom-models.md) + インポートされた基盤モデル – [カスタムモデルのインポートを使用して、カスタマイズされたオープンソースモデルを Amazon Bedrock にインポートする](model-customization-import-model.md) + プロンプトルーター – [Amazon Bedrock のインテリジェントなプロンプトルーティングを理解する](prompt-routing.md) + プロビジョンドスループットを購入したモデル – [Amazon Bedrock のプロビジョンドスループットでモデル呼び出し容量を増やす](prov-throughput.md) # ジャッジとしてのモデルを使用するモデル評価ジョブのプロンプトデータセットを作成する ジャッジとしてのモデルを使用するモデル評価ジョブを作成するには、プロンプトデータセットを指定する必要があります。このプロンプトデータセットは、自動モデル評価ジョブと同じ形式であり、評価対象として選択したモデルによる推論中に使用されます。 既に生成した応答を使用して Amazon Bedrock 以外のモデルを評価する場合は、「[独自の推論レスポンスデータを使用して評価ジョブのデータセットを準備する](#model-evaluation-prompt-datasets-judge-byoir)」の説明に従って、それらの応答をプロンプトデータセットに含めます。独自の推論レスポンスデータを指定すると、Amazon Bedrock はモデル呼び出しステップをスキップし、指定したデータを使用して評価ジョブを実行します。 カスタムプロンプトデータセットは Amazon S3 に保存し、JSON Lines 形式と `.jsonl` ファイル拡張子を使用する必要があります。各行が有効な JSON オブジェクトである必要があります。評価ジョブごとに、データセット内のプロンプト数は最大 1000 個まで使用できます。 コンソールを使用して作成されたジョブの場合、S3 バケットのクロスオリジンリソース共有 (CORS) 設定を更新する必要があります。必要な CORS アクセス許可の詳細については、「[S3 バケットに必要なクロスオリジンリソース共有 (CORS) のアクセス許可](model-evaluation-security-cors.md)」を参照してください。 ## Amazon Bedrock がモデルを呼び出す評価ジョブのデータセットを準備する Amazon Bedrock がモデルを呼び出す評価ジョブを実行するには、次のキーと値のペアを含むプロンプトデータセットを作成します。 + `prompt` – モデルが応答するプロンプト。 + `referenceResponse` – (オプション) グラウンドトゥルース応答。 + `category` — (オプション) カテゴリごとに報告される評価スコアを生成します。 **注記** グラウンドトゥルース応答 (`referenceResponse)` を指定した場合、Amazon Bedrock は**完全性** (`Builtin.Completeness`) メトリクスと**正確性** (`Builtin.Correctness`) メトリクスを計算するときにこのパラメータを使用します。これらのメトリクスは、グラウンドトゥルース応答を指定せずに使用することもできます。これらのシナリオの両方におけるジャッジプロンプトを確認するには、「[Model-as-a-judge 評価ジョブの組み込みメトリクス評価プロンプト](model-evaluation-type-judge-prompt.md)」で、選択したジャッジモデルのセクションを参照してください。 以下は、6 つの入力を含み、JSON Lines 形式を使用するカスタムデータセットの例です。 ``` {"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."} {"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."} {"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."} {"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."} {"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."} {"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."} ``` 次の例は、わかりやすいように 1 つのエントリを展開したものです。実際のプロンプトデータセットでは、各行が有効な JSON オブジェクトである必要があります。 ``` { "prompt": "What is high intensity interval training?", "category": "Fitness", "referenceResponse": "High-Intensity Interval Training (HIIT) is a cardiovascular exercise approach that involves short, intense bursts of exercise followed by brief recovery or rest periods." } ``` ## 独自の推論レスポンスデータを使用して評価ジョブのデータセットを準備する 既に生成した応答を使用して評価ジョブを実行するには、次のキーと値のペアを含むプロンプトデータセットを作成します。 + `prompt` – モデルが応答の生成に使用したプロンプト。 + `referenceResponse` – (オプション) グラウンドトゥルース応答。 + `category` — (オプション) カテゴリごとに報告される評価スコアを生成します。 + `modelResponses` – Amazon Bedrock で評価する独自の推論からの応答。ジャッジとしてのモデルを使用する評価ジョブは、プロンプトごとに 1 つのモデル応答のみをサポートします。このモデル応答は次のキーを使用して定義されます。 + `response` – モデル推論からの応答を含む文字列。 + `modelIdentifier` – 応答を生成したモデルを識別する文字列。評価ジョブで使用できる一意の `modelIdentifier` は 1 つだけで、データセット内の各プロンプトはこの識別子を使用する必要があります。 **注記** グラウンドトゥルース応答 (`referenceResponse)` を指定した場合、Amazon Bedrock は**完全性** (`Builtin.Completeness`) メトリクスと**正確性** (`Builtin.Correctness`) メトリクスを計算するときにこのパラメータを使用します。これらのメトリクスは、グラウンドトゥルース応答を指定せずに使用することもできます。これらのシナリオの両方におけるジャッジプロンプトを確認するには、「[Model-as-a-judge 評価ジョブの組み込みメトリクス評価プロンプト](model-evaluation-type-judge-prompt.md)」で、選択したジャッジモデルのセクションを参照してください。 以下は、6 つの入力を含む JSON Lines 形式のカスタムデータセットの例です。 ``` {"prompt":"The prompt you used to generate the model response","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your model generated","modelIdentifier":"A string identifying your model"}]} {"prompt":"The prompt you used to generate the model response","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your model generated","modelIdentifier":"A string identifying your model"}]} {"prompt":"The prompt you used to generate the model response","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your model generated","modelIdentifier":"A string identifying your model"}]} {"prompt":"The prompt you used to generate the model response","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your model generated","modelIdentifier":"A string identifying your model"}]} {"prompt":"The prompt you used to generate the model response","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your model generated","modelIdentifier":"A string identifying your model"}]} {"prompt":"The prompt you used to generate the model response","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your model generated","modelIdentifier":"A string identifying your model"}]} ``` 次の例では、プロンプトデータセット内の 1 つのエントリをわかりやすいように展開して示しています。 ``` { "prompt": "What is high intensity interval training?", "referenceResponse": "High-Intensity Interval Training (HIIT) is a cardiovascular exercise approach that involves short, intense bursts of exercise followed by brief recovery or rest periods.", "category": "Fitness", "modelResponses": [ { "response": "High intensity interval training (HIIT) is a workout strategy that alternates between short bursts of intense, maximum-effort exercise and brief recovery periods, designed to maximize calorie burn and improve cardiovascular fitness.", "modelIdentifier": "my_model" } ] } ``` # メトリクスを使用してモデルのパフォーマンスを把握する 判定ベースのモデル評価ジョブを実行すると、選択した評価者モデルはメトリクスセットを使用して、評価対象モデルのパフォーマンスの特性を示します。Amazon Bedrock は、選択可能な組み込みメトリクスを多数提供しています。独自のメトリクスを定義することもできます。 LLM-as-a-judge を使用する評価ジョブで Amazon Bedrock で使用できる組み込みメトリクスのリストは、次の表のとおりです。カスタムメトリクスの使用の詳細については、「[カスタムメトリクスのプロンプトを作成する](model-evaluation-custom-metrics-prompt-formats.md)」と「[カスタムメトリクスを使用してモデル評価ジョブを作成する](model-evaluation-custom-metrics-create-job.md)」を参照してください。 | メトリクス | 説明 | | --- | --- | | 正確性 (Builtin.Correctness) | プロンプトに対するモデルのレスポンスが正しいかどうかを測定します。[プロンプトデータセット](model-evaluation-prompt-datasets-judge.md)の一部として参照レスポンス (グラウンドトゥルース) を指定すると、評価者モデルはレスポンスをスコアリングする際にこれを考慮することに注意が必要です。 | | 完全性 (Builtin.Completeness) | プロンプト内のすべての質問に対するモデルのレスポンスの回答の精度を測定します。[プロンプトデータセット](model-evaluation-prompt-datasets-judge.md)の一部として参照レスポンス (グラウンドトゥルース) を指定すると、評価者モデルはレスポンスをスコアリングする際にこれを考慮することに注意が必要です。 | | 忠実度 (Builtin.Faithfulness) | レスポンスにプロンプトに含まれていない情報が含まれているかどうかを識別し、レスポンスが利用可能なコンテキストにどの程度忠実であるかを測定します。 | | 有用性 (Builtin.Helpfulness) | モデルのレスポンスがどの程度役立つかを測定します。評価には、レスポンスが提供された指示に従っているか、レスポンスが合理的で一貫性があるか、レスポンスが暗黙のニーズや期待を予測しているかなどの要素が使用されます。 | | 論理的一貫性 (Builtin.Coherence) | プロンプトに対するモデルのレスポンスにおける論理的なギャップ、不整合、矛盾を特定することで、レスポンスの一貫性を測定します。 | | 関連性 (Builtin.Relevance) | 回答がプロンプトにどの程度関連しているかを測定します。 | | 指示に従っているか (Builtin.FollowingInstructions) | モデルのレスポンスがプロンプトの指示にどれだけ忠実であるかを測定します。 | | プロフェッショナルなスタイルとトーン (Builtin.ProfessionalStyleAndTone) | レスポンスのスタイル、フォーマット、トーンがプロフェッショナルな設定にどの程度適しているかを測定します。 | | 有害性 (Builtin.Harmfulness) | レスポンスに有害なコンテンツが含まれているかどうかを評価します。 | | ステレオタイプ (Builtin.Stereotyping) | レスポンスのコンテンツに、あらゆる種類のステレオタイプ (肯定的または否定的) が含まれているかどうかを評価します。 | | 拒否 (Builtin.Refusal) | レスポンスがプロンプトへの回答を直接的に拒否するか、理由を示してリクエストを拒否するかを判断します。 | # Model-as-a-judge 評価ジョブの組み込みメトリクス評価プロンプト 判定ベースのモデル評価ジョブを実行すると、*評価者モデル*は定義したメトリクスセットに従って*ジェネレーターモデル*のレスポンスをスコアリングします。Amazon Bedrock は、選択可能な組み込みメトリクスを多数提供しています。独自の[カスタムメトリクス](model-evaluation-custom-metrics-prompt-formats.md)を定義することもできます。 Amazon Bedrock の組み込みメトリクスで利用可能な評価者モデルで使用されるプロンプトについては、以降のセクションを参照してください。 **Topics** + [Amazon Nova Pro](model-evaluation-type-judge-prompt-nova.md) + [Anthropic Claude 3.5 Sonnet](model-evaluation-type-judge-prompt-claude-sonnet.md) + [Anthropic Claude 3.5 Sonnet v2](model-evaluation-type-judge-prompt-claude-sonnet35v2.md) + [Anthropic Claude 3.7 Sonnet](model-evaluation-type-judge-prompt-claude-sonnet37.md) + [Anthropic Claude 3 Haiku](model-evaluation-type-judge-prompt-haiku.md) + [Anthropic Claude 3.5 Haiku](model-evaluation-type-judge-prompt-haiku35.md) + [Meta Llama 3.1 70B Instruct](model-evaluation-type-judge-prompt-llama.md) + [Mistral Large](model-evaluation-type-judge-prompt-mistral.md) # Amazon Nova Pro Amazon Nova Pro で使用されるプロンプト。 ## 論理的一貫性 *論理的一貫性* — プロンプトに対するモデルの応答内で論理的なギャップ、不整合、矛盾を探します。応答は 5 ポイントのリッカート尺度で評価され、その後、出力およびジョブのレポートカードで正規化されます。`{{prompt}}` にはデータセットからジェネレーターに送信されたプロンプトが含まれ、`{{prediction}}` はジェネレーターモデルの応答になります。 ``` You are a helpful agent that can assess LLM response according to the given rubrics. You are given a question and a response from LLM. Your task is to check if the arguments presented in the response follow logically from one another. When evaluating the logical cohesion of the response, consider the following rubrics: 1. Check for self-contradictions: - Does the response contradict its own previous statements? - If chat history is provided, does the response contradict statements from previous turns without explicitly correcting itself? 2. Identify any logic gaps or errors in reasoning: - Does the response draw false conclusions from the available information? - Does it make "logical leaps" by skipping steps in an argument? - Are there instances where you think, "this does not follow from that" or "these two things cannot be true at the same time"? 3. Evaluate the soundness of the reasoning, not the soundness of the claims: - If the question asks that a question be answered based on a particular set of assumptions, take those assumptions as the basis for argument, even if they are not true. - Evaluate the logical cohesion of the response as if the premises were true. 4. Distinguish between logical cohesion and correctness: - Logical cohesion focuses on how the response arrives at the answer, not whether the answer itself is correct. - A correct answer reached through flawed reasoning should still be penalized for logical cohesion. 5. Relevance of Logical Reasoning: - If the response doesn't require argumentation or inference-making, and simply presents facts without attempting to draw conclusions, it can be considered logically cohesive by default. - In such cases, automatically rate the logical cohesion as 'Yes', as there's no logic gaps. Please rate the logical cohesion of the response based on the following scale: - Not at all: The response contains too many errors of reasoning to be usable, such as contradicting itself, major gaps in reasoning, or failing to present any reasoning where it is required. - Not generally: The response contains a few instances of coherent reasoning, but errors reduce the quality and usability. - Neutral/Mixed: It's unclear whether the reasoning is correct or not, as different users may disagree. The output is neither particularly good nor particularly bad in terms of logical cohesion. - Generally yes: The response contains small issues with reasoning, but the main point is supported and reasonably well-argued. - Yes: There are no issues with logical cohesion at all. The output does not contradict itself, and all reasoning is sound. Here is the actual task: Question: {{prompt}} Response: {{prediction}} The output should be a well-formatted JSON instance that conforms to the JSON schema below. As an example, for the schema {"properties": {"foo": {"title": "Foo", "description": "a list of strings", "type": "array", "items": {"type": "string"}}}, "required": ["foo"]} the object {"foo": ["bar", "baz"]} is a well-formatted instance of the schema. The object {"properties": {"foo": ["bar", "baz"]}} is not well-formatted. Here is the output JSON schema: ``` {"properties": {"reasoning": {"description": "step by step reasoning to derive the final answer", "title": "Reasoning", "type": "string"}, "answer": {"description": "answer should be one of `Not at all`, `Not generally`, `Neutral/Mixed`, `Generally yes`, `Yes`", "enum": ["Not at all", "Not generally", "Neutral/Mixed", "Generally yes", "Yes"], "title": "Answer", "type": "string"}}, "required": ["reasoning", "answer"]} ``` Do not return any preamble or explanations, return only a pure JSON string surrounded by triple backticks (```). ``` ### スコアマッピング + **まったくない**: `0.0` + **必ずしもそうではない**: `1.0` + **どちらとも言えない**: `2.0` + **全般的にはい**: `3.0` + **はい**: `4.0` ## 忠実性 *忠実性* – プロンプトに含まれていないうえに、プロンプトからは容易に推測できない情報が応答に含まれているかどうかに注目します。応答は 5 ポイントのリッカート尺度で評価され、その後、出力およびジョブのレポートカードで正規化されます。`{{prompt}}` にはデータセットからジェネレーターに送信されたプロンプトが含まれ、`{{prediction}}` はジェネレーターモデルの応答になります。 ``` You are given a task in some context (Input), and a candidate answer. Is the candidate answer faithful to the task description and context? If the model gives an evasive response without any information, the candidate answer is faithful by default. A response is unfaithful only when (1) it clearly contradicts the context, or (2) the task implies that the response must be based on the context, like in a summarization task. If the task does not ask to respond based on the context, the model is allowed to use its own knowledge to provide a response, even if its claims are not verifiable. Task: {{prompt}} Candidate Response: {{prediction}} Evaluate how much of the information in the answer is faithful to the available context. Label an evasive response as faithful. The output should be formatted as a XML file. 1. Output should conform to the tags below. 2. Remember to always open and close all the tags. 3. Do not invent new tags. As an example, for the tags ["foo", "bar", "baz"]: 1. String ""answerContent": {
"evaluationResults": {
"thumbsUpDown": [{
"metricName": "Relevance",
"modelResponseId": "0",
"result": false
}]
}
} | `answerContent` にワーカーのレスポンスを含む JSON オブジェクトのリスト。 |
| `humanLoopName` | String | system-generated-hash | システムは 40 文字の 16 進数文字列を生成。 |
| inputRecord | JSON オブジェクト | "inputRecord": {
"prompt": "What does vitamin C serum do for skin?",
"category": "Skincare",
"referenceResponse": "Vitamin C serum offers a range of benefits for the skin. Firstly, it acts....
} | 入力データセットからのエントリプロンプトを含む JSON オブジェクト。 |
| modelResponses | JSON オブジェクトのリスト | "modelResponses": [{
"modelIdentifier": "arn:aws:bedrock:us-west-2::foundation-model/model-id",
"response": "the-models-response-to-the-prompt"
}] | モデルからの個々のレスポンス。 |
| inputContent | オブジェクト | {
"additionalDataS3Uri":"s3://user-specified-S3-URI-path/datasets/dataset-name/records/record-number/human-loop-additional-data.json",
"evaluationMetrics":[
{
"description":"testing",
"metricName":"IndividualLikertScale",
"ratingMethod":"IndividualLikertScale"
}
],
"instructions":"example instructions"
} | S3 バケットでヒューマンループを開始するために必要なヒューマンループ入力コンテンツ。 |
| modelResponseIdMap | オブジェクト | {
"0":"arn:aws:bedrock:us-west-2::foundation-model/model-id"
} | `humanAnswers.answerContent.evaluationResults` には `modelResponseId` が含まれます。`modelResponseIdMap` は、`modelResponseId` をモデル名に接続します。 |
以下は、モデル評価ジョブからの出力データの例です。
```
{
"humanEvaluationResult": [{
"flowDefinitionArn": "arn:aws:sagemaker:us-west-2:111122223333:flow-definition/flow-definition-name",
"humanAnswers": [{
"acceptanceTime": "2023-11-09T19:17:43.107Z",
"answerContent": {
"evaluationResults": {
"thumbsUpDown": [{
"metricName": "Coherence",
"modelResponseId": "0",
"result": false
}, {
"metricName": "Accuracy",
"modelResponseId": "0",
"result": true
}],
"individualLikertScale": [{
"metricName": "Toxicity",
"modelResponseId": "0",
"result": 1
}]
}
},
"submissionTime": "2023-11-09T19:17:52.101Z",
"timeSpentInSeconds": 8.994,
"workerId": "444455556666",
"workerMetadata": {
"identityData": {
"identityProviderType": "Cognito",
"issuer": "https://cognito-idp.AWS リージョン.amazonaws.com/AWS リージョン_111222",
"sub": "c6aa8eb7-9944-42e9-a6b9-"
}
}
}],
...Additional response have been truncated for clarity...
}],
"humanLoopName": "b3b1c64a2166e001e094123456789012",
"inputContent":{
"additionalDataS3Uri":"s3://user-specified-S3-output-path/datasets/dataset-name/records/record-number/human-loop-additional-data.json",
"evaluationMetrics":[
{
"description":"testing",
"metricName":"IndividualLikertScale",
"ratingMethod":"IndividualLikertScale"
}
],
"instructions":"some dummy instructions"
},
"modelResponseIdMap":{
"0":"arn:aws:bedrock:AWS リージョン::foundation-model/model-id"
}
},
"inputRecord": {
"category": "Fitness",
"prompt": "Human: What is High-Intensity Interval Training ? \\n\\nAssistant:",
"referenceResponse": "High-Intensity Interval Training (HIIT) is a cardiovascular exercise approach that involves short, intense bursts of exercise followed by brief recovery or rest periods. In HIIT, you perform exercises at near-maximum effort during the high-intensity intervals, which can include activities like sprinting, cycling, jumping, or body weight exercises such as burpees or push-ups. These intense intervals are interspersed with short recovery periods to lower your heart rate before the next high-intensity bout. HIIT workouts usually consist of multiple cycles of these intervals, and the number of cycles and the length of intervals can vary. HIIT is known for its time efficiency, making it an excellent choice for those with busy schedules. It offers both aerobic and anaerobic benefits, improving cardiovascular fitness, burning calories, and promoting fat loss, all while boosting metabolism for continued calorie burning post-workout."
},
"modelResponses": [{
"modelIdentifier": "arn:aws:bedrock:AWS リージョン::foundation-model/model-id",
"response": " High-intensity interval training (HIIT) is a form of exercise that involves short bursts of intense activity alternated with recovery periods. Here are some key features of HIIT:\n\n- Alternates short periods of intense anaerobic exercise with less intense recovery periods. The high-intensity periods are typically done at 80-95% of maximum heart rate.\n\n- The duration of the intense periods can range from 5 seconds to 8 minutes, but typically are in the range of 30 seconds to 4 minutes.\n\n- The total HIIT session typically lasts between 10-30 minutes, including warm-up, recovery periods, and cool down. \n\n- Uses exercises like sprints, cycling, rowing, jumping rope, stair climbing, swimming, etc. Movements that get your heart rate up quickly.\n\n- The short, intense intervals help improve cardiovascular fitness by increasing heart rate and oxygen consumption.\n\n- HIIT burns more calories and fat than steady-state cardio in a shorter time period. It also helps build muscle strength and endurance.\n\n- Considered an efficient and effective form of exercise for fat loss and improving aerobic power. But it requires motivation to push yourself during the intense intervals.\n\n- Not suitable for beginners due to the high-intensity. Start with steady-state cardio and build up endurance before trying HIIT.\n\nIn summary, HIIT intersperses intense bursts of"
}]
}
}
```
次の表では、Amazon Bedrock コンソールで各メトリクスに対して選択した **[評価方法]** が Amazon S3 バケットでどのように返されるかについて説明しています。`evaluationResults` の下の最初の子キーは、選択した **[評価方法]** が返される方法を示します。
**Amazon Bedrock コンソールで選択した評価方法が Amazon S3 に保存される仕組み**
| 選択された評価方法 | Amazon S3 に保存 |
| --- | --- |
| リッカート尺度 - 個別 | IndividualLikertScale |
| リッカート尺度 - 比較 | ComparisonLikertScale |
| 選択ボタン | ComparisonChoice |
| 序数ランク | ComparisonRank |
| 高く評価/低く評価 | ThumbsUpDown |
# Amazon Bedrock の評価ジョブでのデータ管理と暗号化
モデル評価ジョブ中、Amazon Bedrock はデータの一時コピーを作成し、 AWS所有の Amazon S3 バケットに保存します。Amazon Bedrock は、ジョブの完了後、このデータを削除します。Amazon Bedrock は、このデータを AWS KMS キーを使用して暗号化します。独自の AWS KMS キーを指定するか、Amazon Bedrock 所有のキーを使用してデータを暗号化するかを選択できます。
またはサポートされている AWS SDK を使用してモデル評価ジョブを作成する場合 AWS マネジメントコンソール AWS CLI、Amazon Bedrock 所有の KMS キーまたは独自のカスタマーマネージドキーを使用できます。カスタマーマネージドキーが指定されていない場合、Amazon Bedrock 所有のキーがデフォルトで使用されます。
カスタマーマネージドキーを使用するには、必要な IAM アクションとリソースを IAM サービスロールのポリシーに追加する必要があります。また、必要な AWS KMS キーポリシー要素を追加する必要があります。
**Topics**
+ [を使用してモデル評価ジョブを暗号化するために必要なキーポリシー要素 AWS KMS](model-evaluation-security-kms.md)
+ [AWS Key Management Service モデル評価ジョブでの のサポート](model-evaluation-security-data.md)
+ [ナレッジベース評価ジョブのデータ暗号化](rag-evaluation-security-data.md)
# を使用してモデル評価ジョブを暗号化するために必要なキーポリシー要素 AWS KMS
すべての AWS KMS キーには、キーポリシーが 1 つだけ必要です。キーポリシーのステートメントは、 AWS KMS キーを使用するアクセス許可を持つユーザーとその使用方法を決定します。IAM ポリシーと許可を使用して AWS KMS キーへのアクセスを制御することもできますが、すべての AWS KMS キーにキーポリシーが必要です。
**Amazon Bedrock で必要な AWS KMS キーポリシー要素**
+ `kms:Decrypt` — AWS Key Management Service キーで暗号化されたファイルの場合、Amazon Bedrock にそれらのファイルにアクセスして復号するアクセス許可を付与します。
+ `kms:GenerateDataKey` — AWS Key Management Service キーを使用してデータキーを生成するアクセス許可を制御します。Amazon Bedrock は、`GenerateDataKey` を使用して評価ジョブを保存する一時データを暗号化します。
+ `kms:DescribeKey` — KMS キーに関する詳細情報を提供します。
既存の AWS KMS キーポリシーに次のステートメントを追加する必要があります。これにより、指定した AWS KMS を使用して Amazon Bedrock サービスバケットにデータを一時的に保存するアクセス許可が Amazon Bedrock に付与されます。
```
{
"Effect": "Allow",
"Principal": {
"Service": "bedrock.amazonaws.com"
},
"Action": [
"kms:GenerateDataKey",
"kms:Decrypt",
"kms:DescribeKey"
],
"Resource": "*",
"Condition": {
"StringLike": {
"kms:EncryptionContext:evaluationJobArn": "arn:aws:bedrock:{{region}}:{{accountId}}:evaluation-job/*",
"aws:SourceArn": "arn:aws:bedrock:{{region}}:{{accountId}}:evaluation-job/*"
}
}
}
```
完全な AWS KMS ポリシーの例を次に示します。
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Id": "key-consolepolicy-3",
"Statement": [
{
"Sid": "EnableIAMUserPermissions",
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::111122223333:root"
},
"Action": "kms:*",
"Resource": "*"
},
{
"Sid": "BedrockDataKeyAndDecrypt",
"Effect": "Allow",
"Principal": {
"Service": "bedrock.amazonaws.com"
},
"Action": [
"kms:GenerateDataKey",
"kms:Decrypt"
],
"Resource": "*",
"Condition": {
"ArnLike": {
"kms:EncryptionContext:evaluationJobArn": "arn:aws:bedrock:us-east-1:123456789012:evaluation-job/*",
"aws:SourceArn": "arn:aws:bedrock:us-east-1:123456789012:evaluation-job/*"
}
}
},
{
"Sid": "BedrockDescribeKey",
"Effect": "Allow",
"Principal": {
"Service": "bedrock.amazonaws.com"
},
"Action": "kms:DescribeKey",
"Resource": "*",
"Condition": {
"ArnLike": {
"aws:SourceArn": "arn:aws:bedrock:us-east-1:123456789012:evaluation-job/*"
}
}
}
]
}
```
------
## CreateEvaluationJob API を呼び出すロールの KMS アクセス許可の設定
評価ジョブで使用する KMS キーに対して、評価ジョブの作成に使用するロールに DescribeKey、GenerateDataKey、Decrypt アクセス許可があることを確認します。
KMS キーポリシーの例
```
{
"Statement": [
{
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::account-id:role/APICallingRole"
},
"Action": [
"kms:Decrypt",
"kms:GenerateDataKey",
"kmsDescribeKey"
],
"Resource": "*"
}
]
}
```
CreateEvaluationJob API を呼び出すロールの IAM ポリシーの例
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "CustomKMSKeyProvidedToBedrockEncryption",
"Effect": "Allow",
"Action": [
"kms:GenerateDataKey",
"kms:Decrypt",
"kms:DescribeKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/keyYouUse"
]
}
]
}
```
------
# AWS Key Management Service モデル評価ジョブでの のサポート
Amazon Bedrock は、次の IAM と AWS KMS アクセス許可を使用して、 AWS KMS キーを使用してファイルを復号し、それらにアクセスします。これらのファイルは Amazon Bedrock が管理する内部 Amazon S3 ロケーションに保存され、次のアクセス許可を使用して暗号化されます。
## IAM ポリシーの要件
Amazon Bedrock へのリクエスト作成に使用する IAM ロールに関連付けられている IAM ポリシーには、次の要素が必要です。 AWS KMS キーの管理については、「[AWS Key Management Serviceで IAM ポリシーを使用する](https://docs.aws.amazon.com/kms/latest/developerguide/iam-policies.html)」を参照してください。
Amazon Bedrock のモデル評価ジョブは、 AWS 所有キーを使用します。これらの KMS キーは Amazon Bedrock が所有しています。 AWS 所有キーの詳細については、「 *AWS Key Management Service デベロッパーガイド*」の[AWS 「 所有キー](https://docs.aws.amazon.com/kms/latest/developerguide/concepts.html#aws-owned-cmk)」を参照してください。
**必要な IAM ポリシー要素**
+ `kms:Decrypt` — AWS Key Management Service キーで暗号化したファイルの場合、 は Amazon Bedrock にそれらのファイルにアクセスして復号化するアクセス許可を付与します。
+ `kms:GenerateDataKey` — AWS Key Management Service キーを使用してデータキーを生成するアクセス許可を制御します。Amazon Bedrock は、`GenerateDataKey` を使用して評価ジョブを保存する一時データを暗号化します。
+ `kms:DescribeKey` — KMS キーに関する詳細情報を提供します。
+ `kms:ViaService` — 条件キーは、指定された AWS サービスからのリクエストに KMS キーの使用を制限します。Amazon Bedrock は、所有する Amazon S3 の場所にデータの一時コピーを保存するため、Amazon S3 をサービスとして指定する必要があります。
以下は、必要な AWS KMS IAM アクションおよびリソースのみを含む IAM ポリシーの例です。
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "CustomKMSKeyProvidedToBedrock",
"Effect": "Allow",
"Action": [
"kms:Decrypt",
"kms:GenerateDataKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/[[keyId]]"
]
},
{
"Sid": "CustomKMSDescribeKeyProvidedToBedrock",
"Effect": "Allow",
"Action": [
"kms:DescribeKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/[[keyId]]"
]
}
]
}
```
------
### CreateEvaluationJob API を呼び出すロールの KMS アクセス許可の設定
評価ジョブで使用する KMS キーに対して、評価ジョブの作成に使用するロールに DescribeKey、GenerateDataKey、Decrypt アクセス許可があることを確認します。
KMS キーポリシーの例
```
{
"Statement": [
{
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::account-id:role/APICallingRole"
},
"Action": [
"kms:Decrypt",
"kms:GenerateDataKey",
"kmsDescribeKey"
],
"Resource": "*"
}
]
}
```
CreateEvaluationJob API を呼び出すロールの IAM ポリシーの例
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "CustomKMSKeyProvidedToBedrockEncryption",
"Effect": "Allow",
"Action": [
"kms:GenerateDataKey",
"kms:Decrypt",
"kms:DescribeKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/keyYouUse"
]
}
]
}
```
------
# ナレッジベース評価ジョブのデータ暗号化
ナレッジベース評価ジョブでは、Amazon Bedrock はデータの一時コピーを作成します。Amazon Bedrock は、ジョブの完了後、データを削除します。データを暗号化するために、Amazon Bedrock は KMS キーを使用します。使用するのは、ユーザーが指定した KMS キーと Amazon Bedrock が所有するキーのいずれかです。
Amazon Bedrock では、KMS キーを使用して以下を実行できるように、以下のセクションで IAM と アクセス AWS KMS 許可が必要です。
+ データを復号する。
+ Amazon Bedrock が作成する一時コピーを暗号化する。
ナレッジベース評価ジョブを作成するときは、Amazon Bedrock が所有する KMS キーを使用するか、独自のカスタマーマネージドキーを選択できます。カスタマーマネージドキーを指定しない場合、Amazon Bedrock は所有するキーをデフォルトで使用します。
カスタマーマネージドキーを使用する前に、以下を実行する必要があります。
+ 必要な IAM アクションとリソースを IAM サービスロールのポリシーに追加する。
+ 必要な KMS キーポリシー要素を追加する。
+ カスタマーマネージドキーとやり取りできるポリシーを作成する。これは別の KMS キーポリシーで指定されています。
## 必要なポリシー要素
以下のセクションの IAM および KMS キーポリシーには、次の必須要素が含まれています。
+ `kms:Decrypt` – KMS キーで暗号化したファイルの場合、それらのファイルにアクセスして復号するためのアクセス許可を Amazon Bedrock に付与します。
+ `kms:GenerateDataKey` – KMS キーを使用してデータキーを生成するためのアクセス許可を制御します。Amazon Bedrock は、`GenerateDataKey` を使用して評価ジョブ用に保存する一時データを暗号化します。
+ `kms:DescribeKey` – KMS キーに関する詳細情報を提供します。
+ `kms:ViaService` – 条件キーは、指定された AWS サービスからリクエストするための KMS キーの使用を制限します。次のサービスを指定する必要があります。
+ Amazon S3。Amazon Bedrock が所有する Amazon S3 の場所にデータの一時コピーを保存するためです。
+ Amazon Bedrock。評価サービスが Amazon Bedrock ナレッジベース API を呼び出してナレッジベースワークフローを実行するためです。
+ `kms:EncryptionContext:context-key` – この条件キーは、指定された[暗号化コンテキスト](https://docs.aws.amazon.com/kms/latest/developerguide/encrypt_context.html)にのみ固有のように、 AWS KMS オペレーションへのアクセスを制限します。
## IAM ポリシーの要件
Amazon Bedrock で使用する IAM ロールでは、関連付けられた IAM ポリシーに次の要素を含める必要があります。 AWS KMS キーの管理の詳細については、[「 での IAM ポリシー AWS KMS](https://docs.aws.amazon.com/kms/latest/developerguide/iam-policies.html)の使用」を参照してください。
Amazon Bedrock のナレッジベース評価ジョブは、 AWS 所有キーを使用します。 AWS 所有キーの詳細については、「 *AWS Key Management Service デベロッパーガイド*」の[AWS 「 所有キー](https://docs.aws.amazon.com/kms/latest/developerguide/concepts.html#aws-owned-cmk)」を参照してください。
以下は、必要な AWS KMS アクションおよびリソースのみを含む IAM ポリシーの例です。
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "CustomKMSKeyProvidedToBedrockEncryption",
"Effect": "Allow",
"Action": [
"kms:GenerateDataKey",
"kms:Decrypt"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/*"
],
"Condition": {
"StringEquals": {
"kms:ViaService": [
"s3.us-east-1.amazonaws.com"
]
}
}
},
{
"Sid": "CustomKMSKeyProvidedToBedrockEvalKMS",
"Effect": "Allow",
"Action": [
"kms:Decrypt",
"kms:GenerateDataKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/*"
],
"Condition": {
"StringLike": {
"kms:EncryptionContext:evaluationJobArn": "arn:aws:bedrock:us-east-1:123456789012:evaluation-job/*"
}
}
},
{
"Sid": "CustomKMSKeyProvidedToBedrockKBDecryption",
"Effect": "Allow",
"Action": [
"kms:Decrypt"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/*"
],
"Condition": {
"StringLike": {
"kms:EncryptionContext:knowledgeBaseArn": "arn:aws:bedrock:us-east-1:123456789012:knowledge-base/*"
}
}
},
{
"Sid": "CustomKMSKeyProvidedToBedrockKBEncryption",
"Effect": "Allow",
"Action": [
"kms:GenerateDataKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/*"
],
"Condition": {
"StringLike": {
"kms:EncryptionContext:knowledgeBaseArn": "arn:aws:bedrock:us-east-1:123456789012:knowledge-base/*"
},
"StringEquals": {
"kms:ViaService": [
"bedrock.us-east-1.amazonaws.com"
]
}
}
},
{
"Sid": "CustomKMSKeyProvidedToBedrockKBGenerateDataKey",
"Effect": "Allow",
"Action": [
"kms:GenerateDataKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/*"
],
"Condition": {
"StringLike": {
"kms:EncryptionContext:CustomerAwsAccountId": "123456789012",
"kms:EncryptionContext:SessionId": "*"
},
"StringEquals": {
"kms:ViaService": [
"bedrock.us-east-1.amazonaws.com"
]
}
}
},
{
"Sid": "CustomKMSDescribeKeyProvidedToBedrock",
"Effect": "Allow",
"Action": [
"kms:DescribeKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/*"
]
}
]
}
```
------
## AWS KMS キーポリシーの要件
すべての KMS キーにはキーポリシーが 1 つ必要です。キーポリシーのステートメントでは、KMS キーの使用が許可されるユーザーとその使用方法を決定します。IAM ポリシーと許可を使用して KMS キーへのアクセスを制御することもできますが、すべての KMS キーにはキーポリシーが必要です。
既存の KMS キーポリシーに次のステートメントを追加する必要があります。これにより、指定した KMS キーを使用して S3 バケットにデータを一時的に保存するためのアクセス許可が Amazon Bedrock に付与されます。
### CreateEvaluationJob API を呼び出すロールの KMS アクセス許可の設定
評価ジョブで使用する KMS キーに対して、評価ジョブの作成に使用するロールに DescribeKey、GenerateDataKey、Decrypt アクセス許可があることを確認します。
KMS キーポリシーの例
```
{
"Statement": [
{
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::account-id:role/APICallingRole"
},
"Action": [
"kms:Decrypt",
"kms:GenerateDataKey",
"kmsDescribeKey"
],
"Resource": "*"
}
]
}
```
CreateEvaluationJob API を呼び出すロールの IAM ポリシーの例
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "CustomKMSKeyProvidedToBedrockEncryption",
"Effect": "Allow",
"Action": [
"kms:GenerateDataKey",
"kms:Decrypt",
"kms:DescribeKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/keyYouUse"
]
}
]
}
```
------
# モデル評価ジョブの CloudTrail 管理イベント
[管理イベント](https://docs.aws.amazon.com/awscloudtrail/latest/userguide/logging-management-events-with-cloudtrail.html#logging-management-events)では、リソース上またはリソース内で実行されるリソースオペレーション (Amazon S3 オブジェクトの読み取りまたは書き込みなど) についての情報が得られます。これらのイベントは、データプレーンオペレーションとも呼ばれます。データイベントは多くの場合、高ボリュームのアクティビティであり、デフォルトでは CloudTrail によってログ記録されません。
複数の AWS サービスのモデル評価ジョブログイベント
**モデル評価ジョブ AWS のサービス別の CloudTrail データイベント**
+ **Amazon Bedrock**: モデル評価ジョブ中に実行されるすべてのモデル推論のデータイベント。
+ **Amazon SageMaker AI**: すべてのヒューマンベースのモデル評価ジョブのデータイベント。
+ **Amazon S3**: モデル評価ジョブの作成時に指定された Amazon S3 バケットへのデータの読み取りと書き込みのためのデータイベント。
+ **AWS Key Management Service**: カスタマーマネージド AWS KMS キーの使用に関連するデータイベント。