管理工作團隊，以對 Amazon Bedrock 中的模型進行人工評估 - Amazon Bedrock
為人力工作者建立指示

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

管理工作團隊，以對 Amazon Bedrock 中的模型進行人工評估

針對使用人力工作者的模型評估任務，您需要有一個工作團隊。工作團隊是您選擇的一群工作者。這些工作者可以是貴公司的員工，或您產業中的主題專家。

Amazon Bedrock 中的工作者通知

  • 當您在 Amazon Bedrock 工作者中建立評估任務時，只有在您第一次將工作者加入工作團隊時，工作者才會收到工作指派通知

  • 如果您在建立評估任務期間，從工作團隊中刪除工作者，他們也無法存取已被指派的所有評估任務。

  • 對於指派給現有人力工作者的任何新評估任務，您必須直接通知他們，並將 URL 提供給工作者入口網站。工作者必須使用先前建立的工作者入口網站登入憑證。此工作者入口網站對您的 AWS 帳戶中每個區域的所有評估任務都是相同的

您可以建立人力工作團隊或管理現有的工作團隊，同時將評估任務工作者設定為由 Amazon SageMaker Ground Truth 管理的私有人力資源。Amazon SageMaker Ground Truth 支援更進階的人力管理功能。若要進一步了解如何在 Amazon SageMaker Ground Truth 中管理您的員工，請參閱建立和管理人力。

您可以在設定新的評估任務時，從工作團隊中刪除工作者。否則，您必須使用 Amazon Cognito 主控台或 Amazon SageMaker Ground Truth 主控台來管理您在 Amazon Bedrock 中建立的工作團隊。

如果 IAM 使用者、群組或角色具有必要的許可權，當您建立使用人力工作者的評估任務時，將會看到您在 Amazon Cognito、Amazon Amazon SageMaker Ground Truth 相或 Amazon Augmented AI 中建立的現有私有人力和工作團隊。

Amazon Bedrock 對於每個工作團隊最多可支援 50 名工作者。

在電子郵件地址欄位中，每次可輸入最多 50 個電子郵件地址。若要將更多工作者新增至您的評估任務，請使用 Amazon Cognito 主控台或 Ground Truth 主控台。地址必須以逗號分隔。您應在其中包含您自己的電子郵件地址，讓您自己成為人力的一部分，以查看標記任務。

為人力工作者建立指示

為模型評估任務建立良好的指示，以提高工作者完成任務的準確性。建立模型評估任務時，可修改主控台提供的預設指示。在工作者完成其標籤任務的使用者介面頁面上，工作者會看到這些指示。

若要協助工作者完成指派的任務，您可以在兩個地方提供指示。

為每個評估和評分方法提供良好的描述

該描述應提供所選指標的簡潔說明。該描述應展開指標，並清楚說明您希望工作者如何評估選取的評分方法。

為您的工作提供整體評估指示

這些指示顯示在工作者完成任務的同一個網頁上。您可以使用此空間為模型評估任務提供高層次方向，並描述基本事實回應 (如果已包含在提示資料集中)。