Membuat evaluasi model pertama Anda yang menggunakan pekerja manusia - Amazon Bedrock
Izin konsol untuk pekerjaan evaluasi model berbasis manusia

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Membuat evaluasi model pertama Anda yang menggunakan pekerja manusia

Pekerjaan evaluasi model yang menggunakan pekerja manusia membutuhkan akses ke sumber daya tingkat layanan berikut. Gunakan topik yang ditautkan untuk mempelajari lebih lanjut tentang menyiapkan.

Sumber daya tingkat layanan yang diperlukan untuk memulai pekerjaan evaluasi model yang menggunakan pekerja manusia

  1. Pekerjaan evaluasi model yang menggunakan pekerja manusia memungkinkan Anda untuk rate/compare menanggapi dua model dasar yang berbeda. Untuk memulai pekerjaan, setidaknya diperlukan satu model fondasi Amazon Bedrock. Untuk mempelajari lebih lanjut mengakses model fondasi Amazon Bedrock, lihat. Akses model fondasi Amazon Bedrock

  2. Untuk membuat pekerjaan evaluasi model menggunakan pekerja manusia, Anda memerlukan akses ke https://console.aws.amazon.com/bedrock/, AWS Command Line Interface, atau AWS SDK yang didukung. Untuk mempelajari lebih lanjut tentang tindakan dan sumber daya IAM yang diperlukan, lihatIzin konsol yang diperlukan untuk membuat pekerjaan evaluasi model berbasis manusia.

  3. Ketika pekerjaan evaluasi model dimulai, peran layanan digunakan untuk melakukan tindakan atas nama Anda. Untuk mempelajari lebih lanjut tentang tindakan IAM yang diperlukan dan persyaratan kebijakan kepercayaan, lihatPersyaratan peran layanan untuk pekerjaan evaluasi model otomatis.

  4. Dataset prompt diperlukan untuk memulai pekerjaan evaluasi model; itu harus disimpan dalam bucket Amazon S3. Untuk mempelajari lebih lanjut tentang persyaratan kumpulan data yang cepat, lihat Buat kumpulan data prompt khusus untuk pekerjaan evaluasi model yang menggunakan pekerja manusia

  5. Evaluator manusia dikelola sebagai tim kerja. Anda dapat membuat tim kerja terkelola Amazon Cognito baru menggunakan konsol Amazon Bedrock. Untuk mempelajari lebih lanjut tentang mengelola tenaga kerja Anda, lihatKelola tim kerja untuk evaluasi model manusia di Amazon Bedrock.

Izin konsol yang diperlukan untuk membuat pekerjaan evaluasi model berbasis manusia

Untuk membuat pekerjaan evaluasi model yang menggunakan pekerja manusia dari konsol Amazon Bedrock, Anda harus memiliki izin tambahan yang ditambahkan ke pengguna, grup, atau peran Anda.

Kebijakan berikut berisi kumpulan minimum tindakan dan sumber daya IAM di Amazon Bedrock, Amazon SageMaker AI, Amazon Cognito, dan Amazon S3 yang diperlukan untuk membuat pekerjaan evaluasi model berbasis manusia menggunakan konsol Amazon Bedrock.

JSON
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowPassingConsoleCreatedServiceRoles",
      "Effect": "Allow",
      "Action": [
        "iam:PassRole"
      ],
      "Resource": [
        "arn:aws:iam::111122223333:role/service-role/Amazon-Bedrock-IAM-Role-*"
      ],
      "Condition": {
        "StringEquals": {
          "iam:PassedToService": "bedrock.amazonaws.com"
        }
      }
    },
    {
      "Sid": "BedrockConsole",
      "Effect": "Allow",
      "Action": [
        "bedrock:CreateEvaluationJob",
        "bedrock:GetEvaluationJob",
        "bedrock:ListEvaluationJobs",
        "bedrock:StopEvaluationJob",
        "bedrock:GetCustomModel",
        "bedrock:ListCustomModels",
        "bedrock:CreateProvisionedModelThroughput",
        "bedrock:UpdateProvisionedModelThroughput",
        "bedrock:GetProvisionedModelThroughput",
        "bedrock:ListProvisionedModelThroughputs",
        "bedrock:GetImportedModel",
        "bedrock:ListImportedModels",
        "bedrock:ListTagsForResource",
        "bedrock:UntagResource",
        "bedrock:TagResource"
      ],
      "Resource": [
        "arn:aws:bedrock:us-west-2::foundation-model/model-id-of-foundational-model",
        "arn:aws:bedrock:us-west-2:111122223333:inference-profile/*",
        "arn:aws:bedrock:us-west-2:111122223333:provisioned-model/*",
        "arn:aws:bedrock:us-west-2:111122223333:imported-model/*"
      ]
    },
    {
      "Sid": "AllowCognitionActionsForWorkTeamCreations",
      "Effect": "Allow",
      "Action": [
        "cognito-idp:CreateUserPool",
        "cognito-idp:CreateUserPoolClient",
        "cognito-idp:CreateGroup",
        "cognito-idp:AdminCreateUser",
        "cognito-idp:AdminAddUserToGroup",
        "cognito-idp:CreateUserPoolDomain",
        "cognito-idp:UpdateUserPool",
        "cognito-idp:ListUsersInGroup",
        "cognito-idp:ListUsers",
        "cognito-idp:AdminRemoveUserFromGroup"
      ],
      "Resource": "*"
    },
    {
      "Sid": "AllowModelEvaluationResourceCreation",
      "Effect": "Allow",
      "Action": [
        "sagemaker:CreateFlowDefinition",
        "sagemaker:CreateWorkforce",
        "sagemaker:CreateWorkteam",
        "sagemaker:DescribeFlowDefinition",
        "sagemaker:DescribeHumanLoop",
        "sagemaker:ListFlowDefinitions",
        "sagemaker:ListHumanLoops",
        "sagemaker:DescribeWorkforce",
        "sagemaker:DescribeWorkteam",
        "sagemaker:ListWorkteams",
        "sagemaker:ListWorkforces",
        "sagemaker:DeleteFlowDefinition",
        "sagemaker:DeleteHumanLoop",
        "sagemaker:RenderUiTemplate",
        "sagemaker:StartHumanLoop",
        "sagemaker:StopHumanLoop"
      ],
      "Resource": "*"
    },
    {
      "Sid": "AllowConsoleS3AccessForModelEvaluation",
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:GetBucketCORS",
        "s3:ListBucket",
        "s3:ListBucketVersions",
        "s3:GetBucketLocation"
      ],
      "Resource": [
        "arn:aws:s3:::my_output_bucket",
        "arn:aws:s3:::input_datasets/prompts.jsonl"
      ]
    }
  ]
}