在 Amazon Bedrock 中提交模型分割任務 - Amazon Bedrock

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

在 Amazon Bedrock 中提交模型分割任務

您可以透過 Amazon Bedrock 主控台或使用 Amazon Bedrock 控制平面端點傳送 CreateModelCustomizationJob 請求,來執行模型分割。

先決條件

  • 建立 AWS Identity and Access Management (IAM) 服務角色,以存取您要存放模型自訂訓練和驗證資料的 Amazon S3 儲存貯體。您可以使用 AWS Management Console 或手動建立此角色。如需手動選項的詳細資訊,請參閱 建立模型自訂的 IAM 服務角色

  • (選用) 加密輸入和輸出資料、您的自訂任務,或對自訂模型提出的推論請求。如需詳細資訊,請參閱自訂模型的加密

  • (選用) 建立虛擬私有雲端 (VPC) 以保護自訂任務。如需詳細資訊,請參閱(選用) 使用 VPC 保護您的模型自訂任務

當您的 Distillation 任務完成時,您可以分析自訂程序的結果。如需更多資訊,請參閱分析模型自訂任務的結果。如需為您的模型設定推論的相關資訊,請參閱 設定自訂模型的推論

提交您的任務

Console
  1. AWS Management Console 使用具有使用 Amazon Bedrock 主控台之許可的 IAM 身分登入 。然後,開啟位於 https://https://console.aws.amazon.com/bedrock/ 的 Amazon Bedrock 主控台。

  2. 從左側導覽窗格中,選擇基礎模型下的自訂模型。

  3. 選擇建立分割任務

  4. 針對已轉移的模型詳細資訊,請執行下列動作:

    1. 針對已分割模型名稱,輸入已分割模型的名稱。

    2. (選用) 對於模型加密,如果您想要提供用於加密任務及其相關成品的 KMS 金鑰,請選取核取方塊。

      如需詳細資訊,請參閱自訂模型的加密

    3. (選用) 將標籤套用至已分割的模型。

  5. 對於任務組態,請執行下列動作:

    1. 任務名稱中,輸入分割任務的名稱。

    2. (選用) 對於模型加密,如果您想要提供用於加密任務及其相關成品的 KMS 金鑰,請選取核取方塊。

      如需詳細資訊,請參閱自訂模型的加密

    3. (選用) 將標籤套用至您的任務。

  6. 針對教師模型 – 學生模型詳細資訊,選擇用於建立已分割模型的教師和學生模型。

    如需詳細資訊,請參閱選擇教師和學生模型進行抽樣

  7. 對於合成資料產生,請執行下列動作:

    1. 針對最大回應長度,指定由教師模型產生的合成回應長度上限。

    2. 針對擾動輸入資料集,選擇下列其中一個選項:

      • 直接上傳至 S3 位置 - 指定您要存放將用於分割之輸入資料集 (提示) 的 S3 位置。如需詳細資訊,請參閱選項 1:提供您自己的資料準備提示

      • 提供叫用日誌的存取權 - 指定您存放叫用日誌的 S3 位置,其中包含將用於抽樣的輸入資料集 (提示)。如需詳細資訊,請參閱選項 2:使用調用日誌進行資料準備

        • (選用) 對於請求中繼資料篩選條件,如果您希望 Amazon Bedrock 只使用日誌中的特定提示來進行抽樣,請指定篩選條件。

        • 根據您希望 Amazon Bedrock 從日誌存取的內容,選擇讀取提示讀取提示-回應對。請記住,只有當您的教師模型符合日誌中的模型時,才會讀取回應。

  8. 對於擾動輸出,指定您要上傳有關擾動任務的指標和報告的 S3 位置。

    如需詳細資訊,請參閱分析模型自訂任務的結果

  9. 針對 VPC 設定,選擇 VPC 組態以使用訓練資料存取 S3 儲存貯體。

    如需詳細資訊,請參閱(選用) 使用 VPC 保護您的模型自訂任務

  10. 針對服務存取,指定使用訓練資料存取 S3 儲存貯體的 IAM 角色。除非您使用跨區域推論設定檔或 VPC 組態,否則您可以在 Amazon Bedrock 主控台中以自動設定的正確許可建立角色。或者,您可以使用現有的服務角色。

    對於具有 Amazon VPC 組態或使用跨區域推論設定檔的任務,您必須在 IAM 中建立具有必要許可的新服務角色。

    如需詳細資訊,請參閱建立模型自訂的 IAM 服務角色

  11. 選擇建立分割任務以啟動分割任務。自訂模型之後,您可以設定模型的推論。如需詳細資訊,請參閱設定自訂模型的推論

API

使用 Amazon Bedrock API 時,您至少必須提供下列欄位來提交模型分割任務。

欄位 描述
baseModelIdentifier 學生模型的模型識別符
customModelName 新已分割模型的名稱
jobName 模型分割任務的名稱
roleArn 授予 Amazon Bedrock 讀取訓練和驗證檔案以及寫入輸出路徑許可的角色
trainingDataConfig 具有訓練資料的 Amazon S3 路徑
outputDataConfig 包含訓練和驗證指標的 Amazon S3 路徑
distillationConfig 分割任務所需的輸入
customModelKmsKeyId 加密自訂模型
clientRequestToken 防止請求完成多次的字符

下列欄位為選用欄位:

欄位 描述
customizationType DISTILLATION 依預設,將 設定為 以進行 分割任務
validationDataConfig 驗證資料 Amazon S3 路徑的清單
jobTags 將標籤與任務建立關聯
customModelTags 將標籤與產生的自訂模型建立關聯
vpcConfig 用於保護訓練資料和分割任務的 VPC

若要防止請求完成多次,請包含 clientRequestToken

您可以針對額外組態包含下列選用欄位。

以下是 CreateModelCustomizationJob API 的範例程式碼片段。此範例使用調用日誌中的提示-回應對做為輸入資料來源,並指定篩選條件以選取提示-回應對。

"trainingDataConfig": { "invocationLogsConfig": { "usePromptResponse": true, "invocationLogSource": { "s3Uri": "string" }, "requestMetadataFilters": { "equals": { "priority": "High" } } } }

回應

回應會傳回模型分割任務jobArn的 。

後續步驟