使用 fmeval 库运行自动评估

先决条件

• 要在 Studio UI 中运行模型评测，您的 AWS Identity and Access Management (IAM) 角色和任何输入数据集都必须具有正确的权限。如果您没有 A SageMaker I 域或 IAM 角色，请按照中的步骤操作Amazon A SageMaker I 入门指南。

为 Amazon S3 存储桶设置权限

创建域和角色后，使用以下步骤添加评估模型所需的权限。

1. 打开 Amazon A SageMaker I 控制台，网址为https://console.aws.amazon.com/sagemaker/。

2. 在导航窗格中，在页面顶部的搜索栏中输入 S3。

3. 在服务下选择 S3。

4. 在导航窗格中选择存储桶。

5. 在一般用途存储桶部分的名称下，选择要用于在管理控制台中存储模型输入和输出的 S3 存储桶的名称。如果没有 S3 存储桶，请执行以下操作：

   1. 选择创建存储桶打开一个新的创建存储桶页面。

   2. 在常规配置部分的 AWS 区域下，选择基础模型所在的 AWS 区域。

   3. 在存储桶名称下的输入框中为 S3 存储桶命名。

   4. 接受所有默认选项。

   5. 选择创建存储桶。

   6. 在一般用途存储桶部分的名称下，选择创建的 S3 存储桶的名称。

6. 选择 Permissions（权限）选项卡。

7. 滚动到窗口底部的跨源资源共享 (CORS) 部分。选择编辑。

8. 要为基础评估存储桶添加权限，请确保输入框中出现以下代码。您也可以将以下内容复制并粘贴到输入框中。

   [
   {
       "AllowedHeaders": [
           "*"
       ],
       "AllowedMethods": [
           "GET",
           "PUT",
           "POST",
           "DELETE"
       ],
       "AllowedOrigins": [
           "*"
       ],
       "ExposeHeaders": [
           "Access-Control-Allow-Origin"
       ]
   }
   ]

9. 选择保存更改。

要在 IAM 策略中添加权限

1. 在页面顶部的搜索栏中输入 IAM。

2. 在服务下，选择身份和访问权限管理 (IAM)。

3. 从导航窗格中选择策略。

4. 在搜索栏中输AmazonSageMakerFullAccess入。选择出现的策略旁边的单选按钮。现在可以选择操作按钮。

5. 选择操作旁边的向下箭头。出现两个选项。

6. 选择 附加。

7. 在出现的 IAM 列表中，搜索您创建的角色名称。选择名称旁边的复选框。

8. 选择附加策略。

开始使用 Studio

1. 在页面顶部的搜索栏中输入 SageMaker AI。

2. 在 “服务” 下，选择 “亚马逊 SageMaker AI”。

3. 从导航窗格中选择 Studio。

4. 展开选择域下的向下箭头后，从开始使用部分选择域。

5. 展开选择用户配置文件下的向下箭头后，从开始使用部分选择用户配置文件。

6. 选择打开 Studio 打开 Studio 的登录页面。

7. 从导航窗格中选择文件浏览器，然后导航到根目录。

8. 选择创建笔记本。

9. 在打开的笔记本环境对话框中，选择 Data Science 3.0 映像。

10. 选定选择。

11. 如以下代码示例所示，在开发环境中安装 fmeval 软件包：

    !pip install fmeval

    注意

    将 fmeval 库安装到使用 Python 3.10 的环境中。有关运行 fmeval 所需的更多信息，请参阅 fmeval 依赖项。

定义 JumpStart 模型并配置 ModelRunner

1. 通过以下任一操作提供一个端点：

   • EndpointName为现有 JumpStart端点指定model_id、和model_version。

   • model_version为模型指定model_id和，然后创建 JumpStart 端点。

   以下代码示例显示了如何为可用的终端节点创建可用的端点 JumpStart。Llama 2 foundation model

   import sagemaker
   from sagemaker.jumpstart.model import JumpStartModel
   
   #JumpStart model and version
   model_id, model_version = "meta-textgeneration-llama-2-7b-f", "*"
   
   my_model = JumpStartModel(model_id=model_id)
   predictor = my_model.deploy()
   endpoint_name = predictor.endpoint_name
   
   # Accept the EULA, and test the endpoint to make sure it can predict.
   predictor.predict({"inputs": [[{"role":"user", "content": "Hello how are you?"}]]}, custom_attributes='accept_eula=true')

   前面的代码示例指的是 EULA，它代表 end-use-license-agreement (EULA)。EULA 可在所使用模型的模型卡说明中找到。要使用某些 JumpStart 模型，必须指定accept_eula=true，如上次调用中所示predict。有关 EULA 的更多信息，请参阅 示范源和许可协议 中的许可和模型来源部分。

   您可以在带有预训练 JumpStart 模型表的内置算法中找到可用模型的列表。

2. 使用 JumpStartModelRunner 配置 ModelRunner，如下面的配置示例所示：

   from fmeval.model_runners.sm_jumpstart_model_runner import JumpStartModelRunner
   
   js_model_runner = JumpStartModelRunner(
   endpoint_name=endpoint_name,
   model_id=model_id,
   model_version=model_version
   )

   在上一个配置示例中，使用与创建端点时相同的 endpoint_name、model_id 和 model_version 值。

3. 测试您的 ModelRunner。如以下代码示例所示，向您的模型发送一个请求示例：

   js_model_runner.predict("What is the capital of London")

定义 Amazon Bedrock 模型并配置 ModelRunner

1. 要定义并打印模型详细信息，请使用以下代码示例，说明通过 Amazon Bedrock 提供的泰坦模型：

   import boto3
   import json
   bedrock = boto3.client(service_name='bedrock')
   bedrock_runtime = boto3.client(service_name='bedrock-runtime')
   
   model_id = "amazon.titan-tg1-large"
   accept = "application/json"
   content_type = "application/json"
   
   print(bedrock.get_foundation_model(modelIdentifier=modelId).get('modelDetails'))

   在前面的代码示例中，accept 参数指定了用于评估 LLM 的数据格式。contentType 指定请求中输入数据的格式。Amazon Bedrock 模型仅 MIME_TYPE_JSON 支持 accept 和 contentType。有关这些参数的更多信息，请参阅 InvokeModelWithResponseStream。

2. 要配置 ModelRunner，请使用 BedrockModelRunner，如以下配置示例所示：

   from fmeval.model_runners.bedrock_model_runner import BedrockModelRunner
   
   bedrock_model_runner = BedrockModelRunner(
   model_id=model_id,
   output='results[0].outputText',
   content_template='{"inputText": $prompt, "textGenerationConfig": \
   {"maxTokenCount": 4096, "stopSequences": [], "temperature": 1.0, "topP": 1.0}}',
   )

   将 ModelRunner 配置参数化如下。

   • 使用与部署模型时相同的 model_id 值。

   • 使用 output 指定生成的 json 响应格式。例如，如果您的 LLM 提供了 [{"results": "this is the output"}] 响应，那么 output='results[0].outputText' 将返回 this is the output。

   • 使用 content_template 指定 LLM 与请求的交互方式。以下配置模板的详细说明只是为了解释前面的配置示例，并非必需。

     • 在前面的配置示例中，变量 inputText 指定了提示符，它捕捉了用户提出的请求。

     • 变量 textGenerationConfig 用于指定 LLM 生成响应的方式，如下所示：

       • 参数 maxTokenCount 用于通过限制 LLM 返回的标记数来限制响应的长度。

       • 参数 stopSequences 用于指定一系列字符序列，告诉 LLM 停止生成响应。当输出中首次出现所列字符串时，将停止模型输出。例如，您可以使用回车序列将模型响应限制为一行。

       • 参数 topP 通过限制生成下一个标记时要考虑的标记集来控制随机性。该参数的取值范围在 0.0 和 1.0 之间。topP 值越高，词组的词汇量就越大，而越小的值则会将词组限制在更有可能出现的词上。

       • 参数 temperature 控制生成文本的随机性，接受正值。较高的 temperature 值会指示模型产生更随机、更多样的响应。较低的数值会产生更可预测的响应。temperature 的典型范围介于 0.2 和 2.0 之间。

       有关特定 Amazon Bedrock 基础模型参数的更多信息，请参阅基础模型推论参数。

     content_template 参数的格式取决于 LLM 支持的输入和参数。例如，Anthropic’s Claude 2 模型可以支持以下 content_template：

     "content_template": "{\"prompt\": $prompt, \"max_tokens_to_sample\": 500}"

     再比如，Falcon 7b 模型可支持以下 content_template。

     "content_template": "{\"inputs\": $prompt, \"parameters\":{\"max_new_tokens\": \
     10, \"top_p\": 0.9, \"temperature\": 0.8}}"

     最后，测试您的 ModelRunner。如以下代码示例所示，向您的模型发送一个请求示例：

     bedrock_model_runner.predict("What is the capital of London?")