Amazon Nova 持續訓練前 (CPT)

持續訓練前 (CPT) 是一種技術，透過在新領域特定資料上進行訓練，同時保留其一般語言理解，來擴展預先訓練語言模型的功能。與微調不同，CPT 使用與原始預先訓練相同的非監督式目標 （例如遮罩或因果語言建模），而且不會修改模型的架構。

當您有大量未標記的網域特定資料 （例如醫療或財務文字），並想要改善模型在專業領域的效能，而不會失去其一般功能時，CPT 特別有價值。這種方法可增強目標網域中的零鏡頭和少量鏡頭效能，而無需進行廣泛的任務特定微調。

如需搭配 Amazon Nova 模型自訂使用 CPT 的詳細說明，請參閱 Amazon Nova 使用者指南中的持續訓練前 (CPT) 一節。