本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
建立使用人力工作者的第一個模型評估
使用人力工作者的模型評估任務需要存取下列服務層級資源。使用連結主題來進一步了解如何進行設定。
啟動使用人力工作者的模型評估任務所需的服務層級資源
-
使用人力工作者的模型評估任務可讓您評定/比較兩個不同基礎模型的回應。若要開始任務,至少需要一個 Amazon Bedrock 基礎模型。若要進一步了解如何存取 Amazon Bedrock 基礎模型,請參閱 存取 Amazon Bedrock 基礎模型。
-
若要使用人力工作者建立模型評估任務,您需要存取 https://console.aws.amazon.com/bedrock/
AWS Command Line Interface或支援的 AWS SDK。若要進一步了解必要的 IAM 動作和資源,請參閱 建立以人力為基礎的模型評估任務所需的主控台許可。 -
當模型評估任務開始時,會使用服務角色代表您執行動作。若要進一步了解必要的 IAM 動作和信任政策需求,請參閱 自動模型評估任務的服務角色要求。
-
啟動模型評估任務需要提示資料集;它必須存放在 Amazon S3 儲存貯體中。若要進一步了解提示資料集需求,請參閱 為使用人力的模型評估任務建立自訂提示資料集
-
人工評估人員會以工作團隊的形式進行管理。您可以使用 Amazon Bedrock 主控台建立新的 Amazon Cognito 受管工作團隊。若要進一步了解如何管理您的人力資源,請參閱 管理工作團隊,以對 Amazon Bedrock 中的模型進行人工評估。
建立以人力為基礎的模型評估任務所需的主控台許可
若要從 Amazon Bedrock 主控台建立使用人力工作者的模型評估任務,您需要為使用者、群組或角色新增額外的許可權。
下列政策包含 Amazon Bedrock、Amazon SageMaker AI、Amazon Cognito 和 Amazon S3 中,使用 Amazon Bedrock 主控台建立以人工為基礎的模型評估任務所需的一組最低 IAM 動作和資源。