设置格式并上传批量推理数据 - Amazon Bedrock
Anthropic Claude 3 Haiku 的文本输入示例Amazon Nova 的视频输入示例

设置格式并上传批量推理数据

您必须将批量推理数据添加到在提交模型调用作业时要选择或指定的 S3 位置。S3 位置必须包含以下项目：

  • 至少一个定义模型输入的 JSONL 文件。一个包含 JSON 对象行的 JSONL。JSONL 文件必须以扩展名 .jsonl 结尾，并且为以下格式：

    { "recordId" : "alphanumeric string", "modelInput" : {JSON body} }
...

    每行都包含一个 JSON 对象，其中包含一个 recordId 字段和一个 modelInput 字段，后者包含您要提交的输入的请求正文。modelInput JSON 对象的格式应与您在 InvokeModel 请求中使用的模型的 body 字段格式一致。有关更多信息，请参阅 基础模型的推理请求参数和响应字段。

    注意

    • 如果您遗漏了 recordId 字段，Amazon Bedrock 会将其添加到输出中。

    • 输出 JSONL 文件中记录的顺序，无法保证与输入 JSONL 文件中记录的顺序相匹配。

    • 您可在创建批量推理作业时指定要使用的模型。

  • （如果您将输入内容定义为 Amazon S3 位置）一些模型允许您将输入的内容定义为 S3 位置。如果您选择此选项，请确保所指定的 S3 位置同时包含您的内容和您的 JSONL 文件。您的内容和 JSONL 文件可以嵌套在所指定 S3 位置的文件夹中。有关示例，请参阅Amazon Nova 的视频输入示例。

确保您的输入符合批量推理配额。您可以在 Amazon Bedrock 服务配额中搜索以下配额：

  • 每个批量推理作业的最小记录数 – 作业中所有 JSONL 文件的最小记录（JSON 对象）数量。

  • 每个批量推理作业每个输入文件的记录数 – 作业中单个 JSONL 文件内的最大记录（JSON 对象）数量。

  • 每个批量推理作业的记录数 – 作业中所有 JSONL 文件的最大记录（JSON 对象）数量。

  • 批量推理输入文件大小 – 作业中单个文件的最大大小。

  • 批量推理作业大小 – 所有输入文件的最大累计大小。

要更好地了解如何设置批量推理输入，请参阅以下示例：

Anthropic Claude 3 Haiku 的文本输入示例

如果您计划使用 Anthropic Claude 3 Haiku 模型的消息 API 格式运行批量推理，则可以提供包含以下 JSON 对象行的 JSONL 文件：

{
    "recordId": "CALL0000001", 
    "modelInput": {
        "anthropic_version": "bedrock-2023-05-31", 
        "max_tokens": 1024,
        "messages": [ 
            { 
                "role": "user", 
                "content": [
                    {
                        "type": "text", 
                        "text": "Summarize the following call transcript: ..." 
                    } 
                ]
            }
        ]
    }
}

Amazon Nova 的视频输入示例

如果您计划使用 Amazon Nova Lite 或 Amazon Nova Pro 模型对视频输入进行批量推理，则可以选择在 JSONL 文件中以字节为单位定义视频，或者提供 S3 位置。例如，您可能有一个 S3 存储桶，其路径为 s3://batch-inference-input-bucket，其中包含以下文件：

videos/
    video1.mp4
    video2.mp4
    ...
    video50.mp4
input.jsonl

input.jsonl 文件中的示例记录如下所示：

{
    "recordId": "RECORD01",
    "modelInput": {
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "text": "You are an expert in recipe videos. Describe this video in less than 200 words following these guidelines: ..."
                    },
                    {
                        "video": {
                            "format": "mp4",
                            "source": {
                                "s3Location": {
                                    "uri": "s3://batch-inference-input-bucket/videos/video1.mp4",
                                    "bucketOwner": "111122223333"
                                }
                            }
                        }
                    }
                ]
            }
        ]
    }
}

创建批量推理作业时，您可以指定 s3://batch-inference-input-bucket 作为 S3 位置。除了 JSONL 文件中引用的 videos 文件夹内的视频文件外，批量处理还会处理该位置的 input.jsonl 文件。

以下资源提供了有关提交视频输入进行批量推理的更多信息：

以下主题介绍如何为某个身份设置 S3 访问权限和批量推理权限，使得该身份能够执行批量推理。