创建批量推理作业 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

创建批量推理作业

设置好包含用于运行模型推理的文件的 Amazon S3 存储桶后，您可以创建批量推理作业。在开始之前，请确认您已按照设置格式并上传批量推理数据中的说明设置了文件。

注意

要使用 VPC 提交批量推理作业，必须使用 API。选择“API”选项卡，了解如何包含 VPC 配置。

要了解如何创建批量推理作业，请选择与您的首选方法对应的选项卡，然后按照以下步骤操作：

Console
创建批量推理作业

  1. 使用有权使用 Amazon Bedrock 控制台的 IAM 身份登录。 AWS 管理控制台 然后，在 https://console.aws.amazon.com/bedrock 上打开 Amazon Bedrock 控制台。

  2. 从左侧导航窗格中选择批量推理。

  3. 在批量推理作业部分，选择创建作业。

  4. 在作业详细信息部分，为批量推理作业指定一个作业名称，然后通过选择模型来选择用于批量推理作业的模型。

  5. 在模型调用类型部分，为您的输入数据选择 API 格式。选择您的输入数据InvokeModel是否使用特定于模型的请求格式，或者如果您的输入数据使用 Converse API 格式，则选择 Converse。默认值为 InvokeModel。

  6. 在输入数据部分，选择浏览 S3，然后为您的批量推理作业选择 S3 位置。批量推理处理该 S3 位置的所有 JSONL 以及随附的内容文件，无论该位置是 S3 文件夹还是单个 JSONL 文件。

    注意

    如果输入数据所在的 S3 存储桶所属的账户不是您提交作业的账户，您必须使用 API 提交批量推理作业。要了解如何执行相应操作，请选择上方的“API”选项卡。

  7. 在输出数据部分，选择浏览 S3，然后选择一个 S3 位置来存储用于批量推理作业的输出文件。默认情况下，输出数据将由加密 AWS 托管式密钥。要选择自定义 KMS 密钥，请选择自定义加密设置（高级），然后选择一个密钥。有关加密 Amazon Bedrock 资源和设置自定义 KMS 密钥的更多信息，请参阅数据加密。

    注意

    如果您计划将输出数据写入一个 S3 存储桶，但该存储桶所属的账户不是您提交作业的账户，您必须使用 API 提交批量推理作业。要了解如何执行相应操作，请选择上方的“API”选项卡。

  8. 在服务访问权限部分，选择以下选项之一：

    • 使用现有服务角色 — 从下拉列表中选择一个服务角色。有关设置具有相应权限的自定义角色的更多信息，请参阅批量推理所需权限。

    • 创建和使用新的服务角色 — 输入服务角色的名称。

  9. （可选）要将标签与批量推理作业关联，请展开标签部分，为每个标签添加键和可选值。有关更多信息，请参阅 标记 Amazon Bedrock 资源。

  10. 选择创建批量推理作业。

API

要创建批量推理作业，请使用 Amazon Bedrock 控制平面终端节点发送CreateModelInvocationJob请求。

以下字段是必填字段：

字段 使用案例
jobName 指定作业名称。
roleArn 指定有权创建和管理作业的服务角色的 Amazon 资源名称（ARN）。有关更多信息，请参阅 为批量推理创建自定义服务角色。
modelId 指定要在推理中使用的模型的 ID 或 ARN。
inputDataConfig 用于指定包含输入数据的 S3 位置。批量推理处理该 S3 位置的所有 JSONL 以及随附的内容文件，无论该位置是 S3 文件夹还是单个 JSONL 文件。有关更多信息，请参阅 设置格式并上传批量推理数据。
outputDataConfig 指定将模型响应写入的 S3 位置。

以下字段是可选字段：

字段 使用案例
modelInvocationType 指定输入数据的 API 格式。设置Converse为使用 Converse API 格式，或者InvokeModel（默认）使用特定于模型的请求格式。有关 Converse 请求格式的更多信息，请参阅匡威。
timeoutDurationIn时长 指定作业超时的小时数。
标签 指定要与作业关联的所有标签。有关更多信息，请参阅 标记 Amazon Bedrock 资源。
vpcConfig 指定用于在作业期间保护数据的 VPC 配置。有关更多信息，请参阅 使用 VPC 保护批量推理作业。
clientRequestToken 确保 API 请求仅完成一次。有关更多信息，请参阅确保幂等性。

响应会返回 jobArn，您可以使用它在执行其他与批量推理相关的 API 调用时引用该作业。