持續預先訓練 (CPT) - Amazon SageMaker AI

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

持續預先訓練 (CPT)

持續訓練前 (CPT) 是一種訓練技術，透過向特定網域或企業的其他未標記文字公開基礎模型，以延伸訓練前階段。與需要標記的輸入輸出對的監督式微調不同，CPT 會在原始文件上進行訓練，以協助模型更深入了解新網域、學習特定網域的術語和撰寫模式，以及適應特定內容類型或主題領域。

當您有大量 （數十億個字符） 的網域特定文字資料，例如法律文件、醫學文獻、技術文件或專屬商業內容，而且您希望模型在該網域中開發原生流暢性時，這種方法特別有用。一般而言，在 CPT 階段之後，模型需要經過額外的指令調校階段，讓模型能夠使用新取得的知識並完成有用的任務。

支援的模型

CPT 適用於下列 Amazon Nova 模型：

  • Nova 1.0 (Micro、Lite、Pro)

  • Nova 2.0 （精簡型）

何時使用 Nova 1.0 與 Nova 2.0

Amazon Nova 系列模型提供多個價格效能操作點，可在準確度、速度和成本之間進行最佳化。

當您需要下列項目時，請選擇 Nova 2.0：

  • 複雜分析任務的進階推理功能

  • 編碼、數學和科學問題解決的卓越效能

  • 更長的內容長度支援

  • 更好的多語言效能

適用下列情況時，請選擇 Nova 1.0：

  • 您的使用案例需要標準語言理解，而無需進階推理。

  • 您想要最佳化以降低訓練和推論成本。

  • 您的重點是教導模型領域特定的知識和行為，而不是複雜的推理任務。

  • 您已驗證 Nova 1.0 的效能，不需要其他功能。

注意

較大的模型不一定會更好。在 Nova 1.0 和 Nova 2.0 模型之間進行選取時，請考慮成本效能權衡和您的特定業務需求。