分析模型自訂任務的結果 - Amazon Bedrock

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

分析模型自訂任務的結果

當您的模型自訂任務完成時,您可以分析自訂程序的結果。下列成品會上傳至您在建立模型自訂任務時指定的 S3 儲存貯體:

  • 訓練和驗證指標 – Amazon Bedrock 為所有模型自訂任務提供訓練指標。驗證指標也隨附於一些模型自訂任務中。

  • 合成資料 (僅限模型蒸餾) – 來自 Amazon Bedrock 從教師模型產生的合成資料集的範例提示,用於在蒸餾任務期間微調學生模型。此資訊可協助您進一步了解並驗證自訂模型的訓練方式。

  • 提示洞見 (僅限模型蒸餾) – 在蒸餾期間接受和拒絕的輸入提示報告 (以及原因)。如果您需要執行另一個蒸餾任務,此資訊可協助您修正和精簡提示。

Amazon Bedrock 會將您的自訂模型存放在範圍為 的AWS受管儲存中AWS 帳戶。

您也可以透過執行模型評估任務來評估模型。如需詳細資訊,請參閱評估 Amazon Bedrock 資源的效能

下列範例顯示您可以在 S3 儲存貯體中微調訓練和驗證指標的位置:

- model-customization-job-training-job-id/ - training_artifacts/ - step_wise_training_metrics.csv - validation_artifacts/ - post_fine_tuning_validation/ - validation_metrics.csv

使用 step_wise_training_metrics.csvvalidation_metrics.csv 檔案來分析模型自訂工作,並協助您根據需要調整模型。

step_wise_training_metrics.csv 檔案中的資料欄如下所示。

  • step_number – 訓練程序中的步驟。從 0 開始。

  • epoch_number – 訓練程序中的 epoch。

  • training_loss – 指出模型符合訓練資料的程度。較低的值表示更符合。

  • perplexity – 指出模型預測一系列字符的能力。值愈低表示預測能力愈好。

validation_metrics.csv 檔案中的資料欄與訓練檔案相同,但 validation_loss (模型符合驗證資料的程度) 會取代 training_loss 出現。

您可以直接開啟 https://console.aws.amazon.com/s3,或尋找模型詳細資訊中輸出資料夾的連結來尋找輸出檔案。選擇您偏好方法的索引標籤,然後遵循下列步驟:

Console
  1. AWS 管理主控台使用具有使用 Amazon Bedrock 主控台之許可的 IAM 身分登入 。接著,開啟位於 https://console.aws.amazon.com/bedrock 的 Amazon Bedrock 主控台。

  2. 從左側導覽窗格中,選擇調校下的自訂模型

  3. 模型索引標籤中,選取模型以檢視其詳細資訊。您可以在模型詳細資訊區段中找到任務名稱

  4. 若要檢視輸出 S3 檔案,請在輸出資料區段中選取 S3 位置

  5. 在名稱符合模型任務名稱的資料夾中尋找訓練和驗證指標檔案。

API

若要列出所有自訂模型的相關資訊,請使用 Amazon Bedrock 控制平面端點傳送 ListCustomModels (請參閱請求與回應格式和欄位詳細資訊的連結) 請求。如需您可以使用的篩選條件,請參閱 ListCustomModels

若要列出自訂模型的所有標籤,請使用 Amazon Bedrock 控制平面端點傳送 ListTagsForResource 請求,並包含自訂模型的 Amazon Resource Name (ARN)。

若要監控模型自訂任務的狀態,請使用 Amazon Bedrock 控制平面端點搭配 modelIdentifier 傳送 GetCustomModel (請參閱請求與回應格式和欄位詳細資訊的連結) 請求,這是下列其中一項。

  • 您提供給模型的名稱。

  • 模型的 ARN。

您可以在 GetModelCustomizationJobGetCustomModel 回應中查看模型自訂任務的 trainingMetricsvalidationMetrics

若要下載訓練和驗證指標檔案,請遵循下載物件的步驟。使用您在 outputDataConfig 中提供的 S3 URI。

查看程式碼範例