本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
在 Amazon Bedrock 中建立 RAG 評估任務
您可以使用 AWS Management Console AWS CLI或支援的 AWS SDK 建立 RAG 評估任務。
這種類型的任務需要存取 評估器模型。如果您要建立使用 Amazon Bedrock 模型作為回應產生器的retrieve-and-generate任務,您也需要存取該模型。兩個模型都必須在相同的 中可用 AWS 區域。如需支援的回應產生器和評估器模型清單,請參閱 支援的模型。
先決條件
除了有權存取至少一個評估器模型之外,若要建立 RAG 評估任務,您也需要特定 IAM 服務角色許可。若要進一步了解必要的動作和信任政策需求,請參閱 建立使用判斷模型的模型評估任務所需的服務角色許可。
建立任務時,您可以在 Amazon S3 儲存貯體中指定提示資料集,並在其中指定輸出儲存貯體以存放結果。若要確保您的 S3 儲存貯體具有必要的 CORS 許可,請參閱 S3 儲存貯體上所需的跨來源資源共享 (CORS) 許可
若要在主控台中建立任務,主控台需要執行特定動作集的許可,並可存取所需的資源。下列政策定義在主控台中建立任務所需的最低 IAM 許可集。在政策中,我們建議使用 IAM JSON 政策元素資源來限制存取 IAM 使用者、群組或角色所需的模型和儲存貯體。
IAM 政策必須同時授予對評估器模型的存取權,以及針對使用 Amazon Bedrock 回應產生器模型擷取和產生任務的回應產生器。
- JSON
-
-
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "BedrockConsole",
"Effect": "Allow",
"Action": [
"bedrock:CreateEvaluationJob",
"bedrock:GetEvaluationJob",
"bedrock:ListEvaluationJobs",
"bedrock:StopEvaluationJob",
"bedrock:GetCustomModel",
"bedrock:ListCustomModels",
"bedrock:CreateProvisionedModelThroughput",
"bedrock:UpdateProvisionedModelThroughput",
"bedrock:GetProvisionedModelThroughput",
"bedrock:ListProvisionedModelThroughputs",
"bedrock:GetImportedModel",
"bedrock:ListImportedModels",
"bedrock:ListTagsForResource",
"bedrock:UntagResource",
"bedrock:TagResource"
],
"Resource": [
"arn:aws:bedrock:us-west-2::foundation-model/*;"
]
},
{
"Sid": "AllowConsoleS3AccessForModelEvaluation",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:GetBucketCORS",
"s3:ListBucket",
"s3:ListBucketVersions",
"s3:GetBucketLocation"
],
"Resource": [
"arn:aws:s3:::amzn-s3-demo-destination-bucket/*",
"arn:aws:s3:::input_datasets/prompts.jsonl"
]
}
]
}
此範例政策提供所有 Amazon Bedrock 基礎模型的許可。在生產環境中,我們建議您遵循最低權限的主體,並僅授予所需模型的許可。