在 Amazon Bedrock 中建立 RAG 評估任務 - Amazon Bedrock

在 Amazon Bedrock 中建立 RAG 評估任務

您可以使用 AWS 管理主控台、AWS CLI 或支援的 AWS SDK 建立 RAG 評估任務。

這種類型的任務需要存取評估工具模型。如果您要建立使用 Amazon Bedrock 模型作為回應產生器的擷取並產生任務,您也需要存取該模型。兩個模型都必須在相同的 AWS 區域 中提供。如需支援的回應產生器和評估工具模型清單,請參閱 支援的模型

必要條件

除了有權存取至少一個評估工具模型之外,若要建立 RAG 評估任務,您也需要特定 IAM 服務角色許可。若要進一步了解必要的動作和信任政策要求,請參閱 建立使用判斷模型的模型評估任務所需的服務角色許可

建立任務時,您會在 Amazon S3 儲存貯體中指定提示資料集,以及在其中存放結果的輸出儲存貯體。若要確保您的 S3 儲存貯體具有必要的 CORS 許可,請參閱 S3 儲存貯體上所需的跨來源資源分享 (CORS) 許可

若要在主控台中建立任務,主控台需要執行特定動作集的許可,並可存取所需的資源。下列政策定義在主控台中建立任務所需的一組最低 IAM 許可。在政策中,我們建議使用 IAM JSON 政策元素資源來限制存取 IAM 使用者、群組或角色所需的模型和儲存貯體。

IAM 政策必須同時授予對評估工具模型的存取權,以及針對使用 Amazon Bedrock 回應產生器模型的擷取並產生任務對回應產生器的存取權。

JSON
{ "Version":"2012-10-17", "Statement": [ { "Sid": "BedrockConsole", "Effect": "Allow", "Action": [ "bedrock:CreateEvaluationJob", "bedrock:GetEvaluationJob", "bedrock:ListEvaluationJobs", "bedrock:StopEvaluationJob", "bedrock:GetCustomModel", "bedrock:ListCustomModels", "bedrock:CreateProvisionedModelThroughput", "bedrock:UpdateProvisionedModelThroughput", "bedrock:GetProvisionedModelThroughput", "bedrock:ListProvisionedModelThroughputs", "bedrock:GetImportedModel", "bedrock:ListImportedModels", "bedrock:ListTagsForResource", "bedrock:UntagResource", "bedrock:TagResource" ], "Resource": [ "arn:aws:bedrock:us-west-2::foundation-model/*;" ] }, { "Sid": "AllowConsoleS3AccessForModelEvaluation", "Effect": "Allow", "Action": [ "s3:GetObject", "s3:GetBucketCORS", "s3:ListBucket", "s3:ListBucketVersions", "s3:GetBucketLocation" ], "Resource": [ "arn:aws:s3:::amzn-s3-demo-destination-bucket/*", "arn:aws:s3:::input_datasets/prompts.jsonl" ] } ] }
注意

此範例政策提供所有 Amazon Bedrock 基礎模型的許可。在生產環境中,我們建議您遵循最低權限的主體,並僅授予所需模型的許可。