格式化並上傳您的批次推論資料 - Amazon Bedrock
Anthropic Claude 3 Haiku 的範例文字輸入Amazon Nova 的範例影片輸入

格式化並上傳您的批次推論資料

您必須將批次推論資料新增至要在提交模型調用任務時選擇或指定的 S3 位置。S3 位置必須包含下列項目：

  • 至少一個定義模型輸入的 JSONL 檔案。JSONL 包含 JSON 物件的資料列。您的 JSONL 檔案必須以副檔名 .jsonl 結尾，且格式如下：

    { "recordId" : "alphanumeric string", "modelInput" : {JSON body} }
...

    每一行都包含一個 JSON 物件，其中包含一個 recordId 欄位和一個 modelInput 欄位，其中包含您要提交之輸入的請求內文。modelInput JSON 物件的格式必須符合您在 InvokeModel 請求中使用之模型的 body 欄位。如需詳細資訊，請參閱 基礎模型的推論請求參數和回應欄位。

    注意

    • 如果您省略 recordId 欄位，Amazon Bedrock 會將其加入到輸出中。

    • 輸出 JSONL 檔案中的記錄順序不保證符合輸入 JSONL 檔案中的記錄順序。

    • 您可以在建立批次推論任務時指定要使用的模型。

  • (如果您將輸入內容定義為 Amazon S3 位置) 有些模型可讓您將輸入內容定義為 S3 位置。如果您選擇此選項，請確定您將指定的 S3 位置同時包含您的內容和 JSONL 檔案。您的內容和 JSONL 檔案可以巢狀排列在您指定的 S3 位置的資料夾中。如需範例，請參閱「Amazon Nova 的範例影片輸入」。

確保您的輸入符合批次推論配額。您可以在 Amazon Bedrock 服務配額中搜尋下列配額：

  • 每個批次推論任務的記錄數下限 – 任務中所有 JSONL 檔案的記錄 (JSON 物件) 數目下限。

  • 每個批次推論任務的每個輸入檔案記錄數 – 任務中單一 JSONL 檔案中的記錄 (JSON 物件) 數目上限。

  • 每個批次推論任務的記錄數 – 任務中所有 JSONL 檔案的記錄 (JSON 物件) 數目上限。

  • 批次推論輸入檔案大小 – 任務中單一檔案的大小上限。

  • 批次推論任務大小 – 所有輸入檔案的最大累積大小。

若要進一步了解如何設定批次推論輸入，請參閱下列範例：

Anthropic Claude 3 Haiku 的範例文字輸入

如果您計劃使用 Anthropic Claude 3 Haiku 模型的訊息 API 格式來執行批次推論，您可以提供 JSONL 檔案，在其中加入包含下列 JSON 物件的一行：

{
    "recordId": "CALL0000001", 
    "modelInput": {
        "anthropic_version": "bedrock-2023-05-31", 
        "max_tokens": 1024,
        "messages": [ 
            { 
                "role": "user", 
                "content": [
                    {
                        "type": "text", 
                        "text": "Summarize the following call transcript: ..." 
                    } 
                ]
            }
        ]
    }
}

Amazon Nova 的範例影片輸入

如果您計劃使用 Amazon Nova Lite 或 Amazon Nova Pro 模型在影片輸入上執行批次推論，您可以選擇在 JSONL 檔案中以位元組或 S3 位置來定義影片。例如，您可能有一個路徑為 s3://batch-inference-input-bucket 且包含下列檔案的 S3 儲存貯體：

videos/
    video1.mp4
    video2.mp4
    ...
    video50.mp4
input.jsonl

來自 input.jsonl 檔案的範例記錄如下：

{
    "recordId": "RECORD01",
    "modelInput": {
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "text": "You are an expert in recipe videos. Describe this video in less than 200 words following these guidelines: ..."
                    },
                    {
                        "video": {
                            "format": "mp4",
                            "source": {
                                "s3Location": {
                                    "uri": "s3://batch-inference-input-bucket/videos/video1.mp4",
                                    "bucketOwner": "111122223333"
                                }
                            }
                        }
                    }
                ]
            }
        ]
    }
}

建立批次推論任務時，您可以將 s3://batch-inference-input-bucket 指定為 S3 位置。除了 JSONL 檔案中所參考 videos 資料夾中的影片檔案之外，批次推論還會處理該位置中的 input.jsonl 檔案。

下列資源提供提交影片輸入以進行批次推論的詳細資訊：

下列主題說明如何設定身分的 S3 存取和批次推論許可，以執行批次推論。