Amazon Nova 持續訓練前 (CPT) - Amazon SageMaker AI

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

Amazon Nova 持續訓練前 (CPT)

持續訓練前 (CPT) 是一種技術,透過在新領域特定資料上進行訓練,同時保留其一般語言理解,來擴展預先訓練語言模型的功能。與微調不同,CPT 使用與原始預先訓練相同的非監督式目標 (例如遮罩或因果語言建模),而且不會修改模型的架構。

當您有大量未標記的網域特定資料 (例如醫療或財務文字),並想要改善模型在專業領域的效能,而不會失去其一般功能時,CPT 特別有價值。這種方法可增強目標網域中的零鏡頭和少量鏡頭效能,而無需進行廣泛的任務特定微調。

如需搭配 Amazon Nova 模型自訂使用 CPT 的詳細說明,請參閱 Amazon Nova 使用者指南中的持續訓練前 (CPT) 一節。