翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

# Amazon Bedrock でモデルを人間が評価するための作業チームを管理する
<a name="human-worker-evaluations"></a>

人間の作業者が評価ジョブを担う場合は、作業チームを編成する必要があります。作業チームとは、**ユーザーが選択するワーカーのグループです。このチームには、社内の従業員や業界の専門家を含めることができます。

**Amazon Bedrock でのワーカーへの通知**  
Amazon Bedrock で評価ジョブを作成した場合、作業チームに初めて追加した作業者に*のみ*、各自に割り当てられたジョブの通知が届きます。
評価ジョブの作成中に作業チームから作業者を削除した場合、その作業者は、割り当てられた*すべて*の評価ジョブにアクセスできなくなります。
既存のヒューマンワーカーに新しい評価ジョブを割り当てる場合は、その人に直接通知し、ワーカーポータルの URL を提供する必要があります。作業者は、以前に作成したワーカーポータルのログイン認証情報を使用する必要があります。このワーカーポータルは、リージョンごとに AWS アカウント内のすべての評価ジョブで同じです。

評価ジョブの設定中に人間の作業チームを作成するか、既存のチームを管理できます。Amazon SageMaker Ground Truth によって管理される*プライベートワークフォース*に作業者を割り当ててください。Amazon SageMaker Ground Truth は、より高度なワークフォース管理機能をサポートしています。Amazon SageMaker Ground Truth でのワークフォース管理の詳細については、「[ワークフォースの作成と管理](https://docs.aws.amazon.com/sagemaker/latest/dg/sms-workforce-management.html)」を参照してください。

新しい評価ジョブを設定する際、作業チームから作業者を削除できます。それ以外の場合に Amazon Bedrock で作成した作業チームを管理するには、Amazon Cognito コンソールまたは Amazon SageMaker Ground Truth コンソールのいずれかを使用する必要があります。

IAM ユーザー、グループ、またはロールに必要な権限がある場合は、ヒューマンワーカーによる評価ジョブを作成する際に、Amazon Cognito、Amazon SageMaker Ground Truth、または Amazon Augmented AI で作成した既存のプライベートワークフォースとワークチームが表示されます。

Amazon Bedrock は、作業チームごとに最大 50 人のワーカーをサポートします。

E メールアドレスフィールドに、最大 50 人のチームメンバーの E メールアドレスを入力します。評価ジョブにさらに作業者を追加するには、Amazon Cognito コンソールまたは Ground Truth コンソールを使用します。アドレスはカンマ (,) で区切る必要があります。自分自身をワークフォースに含めて、ラベル付けタスクを参照できるようにするため、自分の E メールアドレスを含める必要があります。

## ヒューマンワーカー向けの手順を作成する
<a name="human-worker-evaluation-instructions"></a>

モデル評価ジョブに適切な指示書を作成することで、タスクの完了におけるワーカーの正解率が向上します。モデル評価ジョブの作成時にコンソールに表示されるデフォルトの指示書を変更できます。この指示書は、ラベリングタスクが完了した UI ページでワーカーに表示されます。

ワーカーが割り当てられたタスクを完了しやすくするため、2 つの場所に指示を追加することができます。

**各評価方法についてわかりやすい説明を記載する**  
説明には、選択したメトリクスを簡潔に説明する必要があります。メトリクスを詳しく説明し、選択した評価方法をワーカーにどのように評価してもらいたいかを明確にします。

**ワーカーに全体的な評価指示を伝える**  
これらの指示書は、ワーカーがタスクを完了するのと同じウェブページに表示されます。このスペースでは、モデル評価タスクの大まかな方向性を示したり、プロンプトデータセットに含めている場合は、グラウンドトゥルースレスポンスについて説明したりすることができます。