持續預先訓練 (CPT)

持續預先訓練 (CPT) 是一種技術，透過在新領域特定資料上進行訓練，同時保留其一般語言理解，來擴展預先訓練之語言模型的能力。與微調不同，CPT 使用與原始預先訓練相同的非監督式目標 (例如遮罩或因果語言建模)，而且不會修改模型的架構。

當您有大量未標記的領域特定資料 (如醫療或財務文字)，並想要改善模型在專業領域的效能，而不會失去其一般能力時，CPT 會特別有價值。這種方法可增強目標領域中的零樣本和少樣本效能，而無需進行廣泛的任務特定微調。

如需搭配 Amazon Nova 模型自訂使用 CPT 的詳細説明，請參閱《SageMaker 使用者指南》中的持續預先訓練 (CPT) 一節。