格式化並上傳您的批次推論資料 - Amazon Bedrock
Anthropic Claude 3 Haiku 的範例文字輸入Amazon Nova 的範例影片輸入

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

格式化並上傳您的批次推論資料

您必須將批次推論資料新增至要在提交模型調用任務時選擇或指定的 S3 位置。S3 位置必須包含下列項目：

  • 至少一個定義模型輸入的 JSONL 檔案。JSONL 包含 JSON 物件的資料列。您的 JSONL 檔案必須以副檔名 .jsonl 結尾，且格式如下：

    { "recordId" : "alphanumeric string", "modelInput" : {JSON body} }
...

    每一行都包含一個 JSON 物件，其中包含一個 recordId 欄位和一個 modelInput 欄位，其中包含您要提交之輸入的請求內文。modelInput JSON 物件的格式必須符合您在 InvokeModel 請求中使用之模型的 body 欄位。如需詳細資訊，請參閱基礎模型的推論請求參數和回應欄位。

    注意

    • 如果您省略 recordId 欄位，Amazon Bedrock 會將其加入到輸出中。

    • 輸出 JSONL 檔案中的記錄順序不保證符合輸入 JSONL 檔案中的記錄順序。

    • 您可以在建立批次推論任務時指定要使用的模型。

  • （如果您的輸入內容包含 Amazon S3 位置） 有些模型可讓您將輸入的內容定義為 S3 位置。請參閱 Amazon Nova 的範例影片輸入。

    警告

    在提示中使用 S3 URIs 時，所有資源都必須位於相同的 S3 儲存貯體和資料夾中。InputDataConfig 參數必須指定包含所有連結資源 （例如影片或映像） 的資料夾路徑，而不只是個別.jsonl檔案。請注意，S3 路徑區分大小寫，因此請確定您的 URIs符合確切的資料夾結構。

確保您的輸入符合批次推論配額。您可以在 Amazon Bedrock 服務配額中搜尋下列配額：

  • 每個批次推論任務的記錄數下限 – 任務中所有 JSONL 檔案的記錄 (JSON 物件) 數目下限。

  • 每個批次推論任務的每個輸入檔案記錄數 – 任務中單一 JSONL 檔案中的記錄 (JSON 物件) 數目上限。

  • 每個批次推論任務的記錄數 – 任務中所有 JSONL 檔案的記錄 (JSON 物件) 數目上限。

  • 批次推論輸入檔案大小 – 任務中單一檔案的大小上限。

  • 批次推論任務大小 – 所有輸入檔案的最大累積大小。

若要進一步了解如何設定批次推論輸入，請參閱下列範例：

Anthropic Claude 3 Haiku 的範例文字輸入

如果您計劃使用 Anthropic Claude 3 Haiku 模型的訊息 API 格式來執行批次推論，您可以提供 JSONL 檔案，在其中加入包含下列 JSON 物件的一行：

{
    "recordId": "CALL0000001", 
    "modelInput": {
        "anthropic_version": "bedrock-2023-05-31", 
        "max_tokens": 1024,
        "messages": [ 
            { 
                "role": "user", 
                "content": [
                    {
                        "type": "text", 
                        "text": "Summarize the following call transcript: ..." 
                    } 
                ]
            }
        ]
    }
}

Amazon Nova 的範例影片輸入

如果您計劃使用 Amazon Nova Lite 或 Amazon Nova Pro 模型在影片輸入上執行批次推論，您可以選擇在 JSONL 檔案中以位元組或 S3 位置來定義影片。例如，您可能有一個路徑為 s3://batch-inference-input-bucket 且包含下列檔案的 S3 儲存貯體：

s3://batch-inference-input-bucket/
├── videos/
│   ├── video1.mp4
│   ├── video2.mp4
│   ├── ...
│   └── video50.mp4
└── input.jsonl

來自 input.jsonl 檔案的範例記錄如下：

{
    "recordId": "RECORD01",
    "modelInput": {
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "text": "You are an expert in recipe videos. Describe this video in less than 200 words following these guidelines: ..."
                    },
                    {
                        "video": {
                            "format": "mp4",
                            "source": {
                                "s3Location": {
                                    "uri": "s3://batch-inference-input-bucket/videos/video1.mp4",
                                    "bucketOwner": "111122223333"
                                }
                            }
                        }
                    }
                ]
            }
        ]
    }
}

當您建立批次推論任務時， 必須在 InputDataConfig 參數s3://batch-inference-input-bucket中指定資料夾路徑。批次推論將處理此位置input.jsonl的檔案，以及任何參考的資源 （例如videos子資料夾中的影片檔案）。

下列資源提供提交影片輸入以進行批次推論的詳細資訊：

下列主題說明如何設定身分的 S3 存取和批次推論許可，以執行批次推論。