本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

# 使用內建指標建立模型評估任務
<a name="model-evaluation-built-in-metrics"></a>

若要使用下列指示建立任務，您需要提示資料集。若尚未建立，請參閱 [為使用模型作為評判的模型評估任務建立提示資料集](model-evaluation-prompt-datasets-judge.md)。

------
#### [ Console ]

1. 開啟 [Amazon Bedrock 主控台](https://console.aws.amazon.com/bedrock/home)。

1. 在**推論與評估**下的左側窗格中，選取**評估**。

1. 在**模型評估**窗格中，選擇**建立**並選取**自動：模型即評判**。

1. 執行下列動作，輸入您的模型評估詳細資訊：

   1. 在**評估名稱**下的**模型評估詳細資訊**窗格中，輸入評估任務的名稱。您在 AWS 區域 中選擇的名稱必須是唯一的名稱。

   1. 或者，在**描述 - *選用***下，輸入評估任務的描述。

   1. 在**評估工具模型**下，選擇**選取模型**，然後選取您要執行評估的判斷模型。

1. 輸入評估任務的推論來源。透過 Amazon Bedrock 模型評估，您可以在[提示資料集](model-evaluation-prompt-datasets-judge.md)中提供自己的推論回應資料，藉此評估 Amazon Bedrock 模型或其他模型的效能。若要選取 Amazon Bedrock 模型，請執行下列動作：

   1. 在**推論來源**窗格的**選取來源**下，選取 **Bedrock 模型**。

   1. 在**選取模型**下，選擇**選取模型**。

   1. 在快顯視窗中，選取您要評估的模型，然後選擇**套用**。

   1. (選用) 若要變更模型的推論參數，請針對**推論組態**選擇**更新**。

1. 若要使用您自己的推論回應資料，請執行下列動作：

   1. 在**推論來源**窗格的**選取來源**下，選取**引入自己的推論回應**。

   1. 針對**來源名稱**，輸入您用來建立回應資料的模型名稱。您輸入的名稱必須符合[提示資料集](model-evaluation-prompt-datasets-judge.md#model-evaluation-prompt-datasets-judge-byoir)中的 `modelIdentifier` 參數。

1. 在**指標**窗格中選取至少一個指標，以選取您想要讓評估工具模型對產生器模型的回應進行評分的內建指標。

1. 執行下列動作，為您的資料集和結果定義輸入和輸出位置：

   1. 在**資料集**窗格**選擇提示資料集**下，輸入提示資料集的 Amazon S3 URI，或選擇**瀏覽 S3** 並選取您的檔案。若要查看模型即評判評估任務所需提示資料集格式的定義，請參閱 [為使用模型作為評判的模型評估任務建立提示資料集](model-evaluation-prompt-datasets-judge.md)。

   1. 在**評估結果**下，輸入 Amazon Bedrock 的 Amazon S3 位置以儲存結果，或選擇**瀏覽 S3** 以選取位置。

1. 在 **Amazon Bedrock IAM 角色 - 許可**下，選取**建立並使用新的服務角色**，讓 Amazon Bedrock 為評估任務建立新的 IAM 角色，或選取**使用現有的服務角色**來挑選現有的 IAM 角色。如需建立和執行評估任務所需的許可清單，請參閱 [先決條件](model-evaluation-judge-create.md#model-evaluation-judge-create-prereqs)。

1. (選用) 若要使用您自己的 KMS 金鑰來加密評估資料，請在 **KMSkey - *選用***下，勾選**自訂加密設定 (進階)**，然後選取您的 AWS KMS 金鑰。根據預設，Amazon Bedrock 會使用 AWS 擁有的 KMS 金鑰來加密評估任務資料。

1. 選擇**建立**來完成建立評估任務。

------
#### [ AWS CLI ]
+   
**Example AWS CLI 命令和 JSON 檔案，用來建立 Amazon Bedrock 模型的評估任務**  

  ```
  aws bedrock create-evaluation-job --cli-input-json file://{{my_eval_job.json}}
  ```

  ```
  {
      "jobName": {{"model-eval-llmaj"}},
      "roleArn": "arn:aws:iam::{{111122223333}}:role/Amazon-Bedrock-ModelAsAJudgeTest",
      "applicationType": "ModelEvaluation",
      "evaluationConfig": {
          "automated": {
              "datasetMetricConfigs": [
                  {
                      "taskType": "General",
                      "dataset": {
                          "name": "text_dataset",
                          "datasetLocation": {
                              "s3Uri": "s3://amzn-s3-demo-bucket/input_datasets/text_dataset_input.jsonl"
                          }
                      },
                      "metricNames": [
                          "Builtin.Correctness",
                          "Builtin.Completeness"
                      ]
                  }
              ],
              "evaluatorModelConfig": {
                  "bedrockEvaluatorModels": [
                      {
                          "modelIdentifier": "anthropic.claude-3-haiku-20240307-v1:0"
                      }
                  ]
              }
          }
      },
      "inferenceConfig": {
          "models": [
              {
                  "bedrockModel": {
                      "modelIdentifier": "anthropic.claude-v2",
                      "inferenceParams": "{\"inferenceConfig\":{\"maxTokens\":512,\"temperature\":1,\"topP\":0.999,\"stopSequences\":[\"stop\"]},\"additionalModelRequestFields\":{\"top_k\": 128}}"
                  }
              }
          ]
      },
      "outputDataConfig": {
          "s3Uri": "s3://amzn-s3-demo-bucket/output_data/"
      }
  }
  ```  
**Example AWS CLI 命令和 JSON 檔案，用來建立評估任務，您可以在其中提供自己的推論回應資料**  

  ```
  aws bedrock create-evaluation-job --cli-input-json file://{{my_eval_job.json}}
  ```

  ```
  {
      "jobName": {{"model-eval-llmaj"}},
      "roleArn": "arn:aws:iam::{{111122223333}}:role/Amazon-Bedrock-ModelAsAJudgeTest",
      "evaluationConfig": {
          "automated": {
              "datasetMetricConfigs": [
                  {
                      "taskType": "General",
                      "dataset": {
                          "name": "text_dataset",
                          "datasetLocation": {
                              "s3Uri": "{{s3://amzn-s3-demo-bucket/input/model-eval/fitness-dataset-model-eval-byoi.jsonl}}"
                          }
                      },
                      "metricNames": [
                          "Builtin.Correctness",
                          "Builtin.Completeness"
                      ]
                  }
              ],
              "evaluatorModelConfig": {
                  "bedrockEvaluatorModels": [
                      {
                          "modelIdentifier": "us.meta.llama3-1-70b-instruct-v1:0"
                      }
                  ]
              }
          }
      },
      "inferenceConfig": {
          "models": [
              {
                  "precomputedInferenceSource": {
                      "inferenceSourceIdentifier": "my_model"
                  }
              }
          ]
      },
      "outputDataConfig": {
          "s3Uri": "s3://amzn-s3-demo-bucket/output/"
      }
  }
  ```

------