使用 fmeval 程式庫執行自動評估

先決條件

• 若要在 Studio UI 中執行模型評估，您的 AWS Identity and Access Management (IAM) 角色和任何輸入資料集必須具有正確的許可。如果您沒有 SageMaker AI 網域或 IAM 角色，請遵循 使用 Amazon SageMaker AI 進行設定的指南 中的步驟。

為您的 Amazon S3 儲存貯體設定許可

在建立網域和角色之後，請使用下列步驟來新增評估模型所需的許可。

1. 開啟 Amazon SageMaker AI 主控台，網址為 https://console.aws.amazon.com/sagemaker/。

2. 在導覽窗格中，將 S3 輸入至頁面頂端的搜尋列中。

3. 在服務下選擇 S3。

4. 從導覽窗格中選擇儲存貯體。

5. 在一般用途儲存貯體區段的名稱下，選擇您要用來在主控台中存放模型輸入和輸出的 S3 儲存貯體名稱。如果您沒有 S3 儲存貯體，請執行下列動作：

   1. 選取建立儲存貯體以開啟新的建立儲存貯體頁面。

   2. 在一般組態區段的 AWS 區域下，選取基礎模型所在的 AWS 區域。

   3. 在儲存貯體名稱下的輸入方塊中命名您的 S3 儲存貯體。

   4. 接受所有預設選項。

   5. 選取建立儲存貯體。

   6. 在一般用途儲存貯體區段的名稱下，選取您建立的 S3 儲存貯體名稱。

6. 選擇許可索引標籤。

7. 捲動至視窗底部的跨來源資源共用 (CORS) 區段。選擇編輯。

8. 若要將許可新增至儲存貯體以進行基礎評估，請確定下列程式碼出現在輸入方塊中。您也可以複製以下內容並將其貼入輸入方塊中。

   [
   {
       "AllowedHeaders": [
           "*"
       ],
       "AllowedMethods": [
           "GET",
           "PUT",
           "POST",
           "DELETE"
       ],
       "AllowedOrigins": [
           "*"
       ],
       "ExposeHeaders": [
           "Access-Control-Allow-Origin"
       ]
   }
   ]

9. 選擇儲存變更。

將許可新增至您的 IAM 政策

1. 在頁面頂端的搜尋列中，輸入 IAM。

2. 在服務下，選取 Identity and Access Management (IAM)。

3. 從導覽窗格中選擇政策。

4. 將 AmazonSageMakerFullAccess 輸入至搜尋列。選取出現的政策旁邊的選項按鈕。現在可以選取動作按鈕。

5. 選擇動作旁邊的向下箭頭。兩個選項隨即出現。

6. 選擇 Attach (連接)。

7. 在出現的 IAM 清單，搜尋您建立的角色名稱。選取其名稱旁邊的核取方塊。

8. 選擇連接政策。

開始使用 Studio

1. 在頁面頂端的搜尋列中，輸入 SageMaker AI。

2. 在服務下，選取 Amazon SageMaker AI。

3. 從導覽窗格中選擇 Studio。

4. 在展開選取網域下的向下箭頭之後，從入門區段中選擇您的網域。

5. 在展開選取使用者設定檔下的向下箭頭之後，從入門區段中選擇您的使用者設定檔。

6. 選擇開啟 Studio 以開啟 Studio 的登陸頁面。

7. 從導覽窗格中選取檔案瀏覽器，然後導覽至根目錄。

8. 選取建立筆記本。

9. 在開啟的筆記本環境對話方塊中，選取 Data Science 3.0 映像。

10. 選擇選取。

11. 在您的開發環境中安裝 fmeval 套件，如下列程式碼範例所示：

    !pip install fmeval

    注意

    將 fmeval 程式庫安裝到使用 Python 3.10 的環境。如需執行 fmeval 所需要求的詳細資訊，請參閱 fmeval 相依性。

定義 JumpStart 模型並設定 ModelRunner

1. 執行下列任一動作來提供端點：

   • 將 EndpointName 指定為現有的 JumpStart 端點、model_id 和 model_version。

   • 為您的模型指定 model_id 和 model_version，並建立 JumpStart 端點。

   下列程式碼範例展示如何為可透過 JumpStart 取得的 Llama 2 foundation model 建立端點。

   import sagemaker
   from sagemaker.jumpstart.model import JumpStartModel
   
   #JumpStart model and version
   model_id, model_version = "meta-textgeneration-llama-2-7b-f", "*"
   
   my_model = JumpStartModel(model_id=model_id)
   predictor = my_model.deploy()
   endpoint_name = predictor.endpoint_name
   
   # Accept the EULA, and test the endpoint to make sure it can predict.
   predictor.predict({"inputs": [[{"role":"user", "content": "Hello how are you?"}]]}, custom_attributes='accept_eula=true')

   先前的程式碼範例是指 EULA，其代表 end-use-license-agreement (EULA)。您可以在所使用模型的模型卡描述中找到 EULA。若要使用某些 JumpStart 模型，您必須指定 accept_eula=true，如先前呼叫 predict 所示。如需 EULA 的詳細資訊，請參閱模型來源和授權協議中的授權和模型來源一節。

   您可以在具有預先訓練模型資料表的內建演算法中找到可用的 JumpStart 模型清單。

2. 使用 JumpStartModelRunner 設定 ModelRunner，如下列組態範例所示：

   from fmeval.model_runners.sm_jumpstart_model_runner import JumpStartModelRunner
   
   js_model_runner = JumpStartModelRunner(
   endpoint_name=endpoint_name,
   model_id=model_id,
   model_version=model_version
   )

   在先前的組態範例中，針對 endpoint_name、model_id 和 model_version 使用您用來建立端點的相同值。

3. 測試您的 ModelRunner。將範例請求傳送至您的模型，如下列程式碼範例所示：

   js_model_runner.predict("What is the capital of London")

定義 Amazon Bedrock 模型並設定 ModelRunner

1. 若要定義和列印模型詳細資訊，請針對可透過 Amazon Bedrock 取得的 Titan 模型使用下列程式碼範例：

   import boto3
   import json
   bedrock = boto3.client(service_name='bedrock')
   bedrock_runtime = boto3.client(service_name='bedrock-runtime')
   
   model_id = "amazon.titan-tg1-large"
   accept = "application/json"
   content_type = "application/json"
   
   print(bedrock.get_foundation_model(modelIdentifier=modelId).get('modelDetails'))

   在先前的程式碼範例中，accept 參數會指定您要用來評估 LLM 的資料格式。contentType 指定請求中輸入資料的格式。只有 Amazon Bedrock 模型的 accept 和 contentType 支援 MIME_TYPE_JSON。如需這些參數的詳細資訊，請參閱 InvokeModelWithResponseStream。

2. 若要設定 ModelRunner，請使用 BedrockModelRunner，如下列組態範例所示：

   from fmeval.model_runners.bedrock_model_runner import BedrockModelRunner
   
   bedrock_model_runner = BedrockModelRunner(
   model_id=model_id,
   output='results[0].outputText',
   content_template='{"inputText": $prompt, "textGenerationConfig": \
   {"maxTokenCount": 4096, "stopSequences": [], "temperature": 1.0, "topP": 1.0}}',
   )

   將 ModelRunner 組態參數化，如下所示。

   • 針對 model_id 使用您用來部署模型的相同值。

   • 使用 output 指定所產生 json 回應的格式。例如，如果您的 LLM 提供了回應 [{"results": "this is the output"}]，則 output='results[0].outputText' 會傳回 this is the output。

   • 使用 content_template 指定 LLM 如何與請求互動。下列組態範本只是為了解釋先前組態範例而詳細說明的，並非必要。

     • 在先前的組態範例中，變數 inputText 會指定提示，以擷取使用者提出的請求。

     • 變數 textGenerationConfig 指定 LLM 如何產生回應，如下所示：

       • 參數 maxTokenCount 用來限制回應的長度，方法是限制 LLM 傳回的字符數量。

       • 參數 stopSequences 用來指定字元序列清單，這些序列會告知 LLM 停止產生回應。模型輸出會在輸出中第一次遇到任何列出的字串時停止。例如，您可以使用回車序列，將模型回應限制為單行。

       • 參數 topP 透過限制產生下一個字符時要考慮的字符集來控制隨機性。此參數接受介於 0.0 和 1.0 之間的值。較高的 topP 值允許包含更廣泛詞彙的集合，而較低的值會將字符集合限制為更有可能的字詞。

       • 參數 temperature 控制所產生文字的隨機性，並接受正值。較高的 temperature 值會指示模型產生更多隨機且多樣化的回應。較低的值會產生更能預測的回應。temperature 的典型範圍介於 0.2 與 2.0 之間。

       如需特定 Amazon Bedrock 基礎模型參數的詳細資訊，請參閱基礎模型的推論參數。

     content_template 參數的格式取決於 LLM 支援的輸入和參數。例如，Anthropic’s Claude 2 模型可以支援下列 content_template：

     "content_template": "{\"prompt\": $prompt, \"max_tokens_to_sample\": 500}"

     另一個範例是，Falcon 7b 模型可以支援下列 content_template。

     "content_template": "{\"inputs\": $prompt, \"parameters\":{\"max_new_tokens\": \
     10, \"top_p\": 0.9, \"temperature\": 0.8}}"

     最後，測試您的 ModelRunner。將範例請求傳送至您的模型，如下列程式碼範例所示：

     bedrock_model_runner.predict("What is the capital of London?")