翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
ヒューマンワーカーを使用する最初のモデル評価の作成
ヒューマンワーカーを使用するモデル評価ジョブでは、次のサービスレベルのリソースにアクセスする必要があります。リンクされたトピックを使用して、セットアップの詳細を確認してください。
ヒューマンワーカーを使用するモデル評価ジョブを開始するために必要なサービスレベルのリソース
-
ヒューマンワーカーを使用するモデル評価ジョブでは、最大 2 つの異なる基盤モデルのレスポンスを評価/比較できます。ジョブを開始するには、少なくとも 1 つの Amazon Bedrock 基盤モデルが必要です。Amazon Bedrock 基盤モデルへのアクセスの詳細については、「」を参照してくださいAccess Amazon Bedrock foundation models。
-
ヒューマンワーカーを使用してモデル評価ジョブを作成するには、https://console.aws.amazon.com/bedrock/
AWS Command Line Interface、またはサポートされている AWS SDK にアクセスする必要があります。必要な IAM アクションとリソースの詳細については、「」を参照してくださいヒューマンベースモデル評価ジョブの作成に必要なコンソールアクセス許可。 -
モデル評価ジョブが開始されると、サービスロールを使用してユーザーに代わってアクションを実行します。必要な IAM アクションと信頼ポリシーの要件の詳細については、「」を参照してください自動モデル評価ジョブのサービスロール要件。
-
モデル評価ジョブを開始するにはプロンプトデータセットが必要です。Amazon S3 バケットに保存する必要があります。プロンプトデータセットの要件の詳細については、「」を参照してください。 ヒューマンワーカーを使用するモデル評価ジョブのカスタムプロンプトデータセットを作成する
-
人間の評価者は作業チームとして管理されます。Amazon Bedrock コンソールを使用して、新しい Amazon Cognito マネージドワークチームを作成できます。ワークフォースの管理の詳細については、「」を参照してくださいAmazon Bedrock でモデルを人間が評価するための作業チームを管理する。
ヒューマンベースモデル評価ジョブの作成に必要なコンソールアクセス許可
Amazon Bedrock コンソールからヒューマンワーカーによるモデル評価ジョブを作成するには、ユーザー、グループ、またはロールにアクセス許可を追加する必要があります。
次のポリシーには、Amazon Bedrock コンソールを使用して人間ベースのモデル評価ジョブを作成するために必要な、Amazon Bedrock、Amazon SageMaker AI、Amazon Cognito、Amazon S3 の IAM アクションとリソースの最小セットが含まれています。