翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

# Amazon Bedrock での RAG 評価ジョブの作成
<a name="knowledge-base-evaluation-create"></a>

RAG 評価ジョブは AWS マネジメントコンソール、、 AWS CLI、またはサポートされている AWS SDK を使用して作成できます。

このタイプのジョブでは、評価者モデルへのアクセス権限が必要です。Amazon Bedrock モデルをレスポンスジェネレーターとして使用する retrieve-and-generate ジョブを作成する場合は、そのモデルへのアクセス権限も必要になります。どちらのモデルも同じ AWS リージョンで利用できる必要があります。サポート対象のレスポンスジェネレーターと評価者モデルのリストについては、「[サポートされているモデル](evaluation-kb.md#evaluation-kb-supported)」を参照してください。

## 前提条件
<a name="knowledge-base-evaluation-create-prereqs"></a>

RAG 評価ジョブを作成するには、少なくとも 1 つの評価者モデルへのアクセス権限のみでなく、特定の IAM サービスロールのアクセス許可も必要です。必要なアクションと信頼ポリシーの要件の詳細については、「[判定モデルを使ったモデル評価ジョブを作成するために必要なサービスロールのアクセス許可](judge-service-roles.md)」を参照してください。

ジョブを作成する際は、Amazon S3 バケット内のプロンプトデータセットと、結果を保存する出力バケットを指定します。S3 バケットに必要な CORS アクセス許可があることを確認するには、「[S3 バケットに必要なクロスオリジンリソース共有 (CORS) のアクセス許可](model-evaluation-security-cors.md)」を参照してください。

コンソールでジョブを作成するには、特定のアクションセットを実行し、必要なリソースにアクセスできるアクセス許可がコンソールに必要となります。次のポリシーは、コンソールでジョブを作成するために必要な、最小限の IAM アクセス許可のセットを定義しています。ポリシーでは、IAM JSON ポリシー要素である [Resource](https://docs.aws.amazon.com/IAM/latest/UserGuide/reference_policies_elements_resource.html) を使用して、IAM ユーザー、グループ、またはロールに必要なモデルとバケットのみにアクセスを制限することをお勧めします。

IAM ポリシーは、評価者モデルへのアクセス権限と、Amazon Bedrock レスポンスジェネレーターモデルを使用する取得ジョブと生成ジョブの場合は、そのレスポンスジェネレーターへのアクセス権限の両方を付与する必要があります。

### 必要なコンソールのアクセス許可
<a name="knowledge-base-evaluation-create-prereqs-permissions"></a>

------
#### [ JSON ]

****  

```
{
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "BedrockConsole",
            "Effect": "Allow",
            "Action": [
                "bedrock:CreateEvaluationJob",
                "bedrock:GetEvaluationJob",
                "bedrock:ListEvaluationJobs",
                "bedrock:StopEvaluationJob",
                "bedrock:GetCustomModel",
                "bedrock:ListCustomModels",
                "bedrock:CreateProvisionedModelThroughput",
                "bedrock:UpdateProvisionedModelThroughput",
                "bedrock:GetProvisionedModelThroughput",
                "bedrock:ListProvisionedModelThroughputs",
                "bedrock:GetImportedModel",
                "bedrock:ListImportedModels",
                "bedrock:ListTagsForResource",
                "bedrock:UntagResource",
                "bedrock:TagResource"
            ],
            "Resource": [
                "arn:aws:bedrock:us-west-2::foundation-model/*;"
            ]
        },
        {
            "Sid": "AllowConsoleS3AccessForModelEvaluation",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:GetBucketCORS",
                "s3:ListBucket",
                "s3:ListBucketVersions",
                "s3:GetBucketLocation"
            ],
            "Resource": [
                "arn:aws:s3:::amzn-s3-demo-destination-bucket/*",
                "arn:aws:s3:::input_datasets/prompts.jsonl"
            ]
        }
    ]
}
```

------

**注記**  
このサンプルポリシーでは、すべての Amazon Bedrock 基盤モデルに対するアクセス許可を付与します。本番環境では、[最小権限](https://docs.aws.amazon.com/IAM/latest/UserGuide/best-practices.html#grant-least-privilege)の原則に従って、必要なモデルに対してのみアクセス許可を付与することをお勧めします。

**Topics**
+ [前提条件](#knowledge-base-evaluation-create-prereqs)
+ [取得のみの RAG 評価ジョブの作成](knowledge-base-evaluation-create-ro.md)
+ [カスタムメトリクスを使用した取得のみの RAG 評価ジョブの作成](knowledge-base-evaluation-create-ro-custom.md)
+ [retrieve-and-generate RAG 評価ジョブの作成](knowledge-base-evaluation-create-randg.md)
+ [カスタムメトリクスを使用した retrieve-and-generate RAG 評価ジョブの作成](knowledge-base-evaluation-create-randg-custom.md)