建立批次推論任務 - Amazon Bedrock

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

建立批次推論任務

使用執行模型推論的檔案設定 Amazon S3 儲存貯體之後，您可以建立批次推論任務。開始之前，請檢查您是否根據格式化並上傳您的批次推論資料中所述的指示設定檔案。

注意

若要使用 VPC 提交批次推論任務，您必須使用 API。選取 API 索引標籤，了解如何包含 VPC 組態。

若要了解如何建立批次推論任務，請選擇您偏好方法的索引標籤，然後遵循下列步驟：

Console
建立批次推論任務

  1. AWS 管理主控台 使用具有使用 Amazon Bedrock 主控台之許可的 IAM 身分登入 。接著，開啟位於 https://console.aws.amazon.com/bedrock 的 Amazon Bedrock 主控台。

  2. 從左側導覽窗格中，選取批次推論。

  3. 在批次推論任務區段中，選擇建立任務。

  4. 在任務詳細資訊區段中，為批次推論任務提供任務名稱，然後選擇選取模型，以選取要用於批次推論任務的模型。

  5. 在模型調用類型區段中，為您的輸入資料選擇 API 格式。如果您的輸入資料使用模型特定的請求格式，請選擇 InvokeModel，或者如果您的輸入資料使用 Converse API 格式，請選擇 Converse。預設值為 InvokeModel。

  6. 在輸入資料區段中，選擇瀏覽 S3，並為批次推論任務選取 S3 位置。批次推論會在該 S3 位置處理所有 JSONL 和隨附的內容檔案，無論該位置是 S3 資料夾還是單一 JSONL 檔案。

    注意

    如果輸入資料位於與提交任務之帳戶不同的 S3 儲存貯體中，則必須使用 API 來提交批次推論任務。若要了解如何執行此操作，請選取上方的 API 標籤。

  7. 在輸出資料區段中，選擇瀏覽 S3 並選取 S3 位置，以儲存批次推論任務中的輸出檔案。根據預設，輸出資料將由 加密 AWS 受管金鑰。若要選擇自訂 KMS 金鑰，請選取自訂加密設定 (進階)，然後選擇金鑰。如需 Amazon Bedrock 資源加密和設定自訂 KMS 金鑰的詳細資訊，請參閱資料加密。

    注意

    如果您打算將輸出資料寫入與提交任務之帳戶不同的 S3 儲存貯體，則必須使用 API 來提交批次推論任務。若要了解如何執行此操作，請選取上方的 API 標籤。

  8. 在服務存取區段中，選取下列其中一個選項：

    • 使用現有服務角色 — 從下拉式清單中選取服務角色。如需有關使用適當許可權設定自訂角色的詳細資訊，請參閱 批次推論的必要許可。

    • 建立並使用新的服務角色 — 輸入服務角色的名稱。

  9. (選用) 若要將標籤與批次推論任務建立關聯，請展開標籤區段，並為每個標籤新增索引鍵和選用值。如需詳細資訊，請參閱標記 Amazon Bedrock 資源。

  10. 選擇 Create batch inference job (建立批次推論任務)。

API

若要建立批次推論任務，請使用 Amazon Bedrock 控制平面端點傳送 CreateModelInvocationJob 請求。

下列是必要欄位：

欄位 使用案例
jobName 指定任務的名稱。
roleArn 指定具有建立和管理任務許可的服務角色的 Amazon Resource Name (ARN)。如需詳細資訊，請參閱建立批次推論的自訂服務角色。
modelId 指定要在推論中使用之模型的 ID 或 ARN。
inputDataConfig 指定包含輸入資料的 S3 位置。批次推論會在該 S3 位置處理所有 JSONL 和隨附的內容檔案，無論該位置是 S3 資料夾還是單一 JSONL 檔案。如需詳細資訊，請參閱格式化並上傳您的批次推論資料。
outputDataConfig 指定要寫入模型回應的 S3 位置。

以下是選填欄位：

欄位 使用案例
modelInvocationType 指定輸入資料的 API 格式。設定為 Converse 以使用 Converse API 格式，或 InvokeModel（預設） 以使用模型特定的請求格式。如需 Converse 請求格式的詳細資訊，請參閱 Converse。
timeoutDurationInHours 指定任務逾時時間 (以小時為單位)。
標籤 指定要與任務建立關聯的任何標籤。如需詳細資訊，請參閱標記 Amazon Bedrock 資源。
vpcConfig 指定要在任務期間用來保護資料的 VPC 組態。如需詳細資訊，請參閱使用 VPC 保護批次推論任務。
clientRequestToken 為確保 API 請求，僅完成一次。如需詳細資訊，請參閱確保冪等性。

回應會傳回 jobArn，您可將其用於執行其他與批次推論相關的 API 呼叫。