Amazon Nova の継続的な事前トレーニング (CPT)

継続的な事前トレーニング (CPT) は、一般的な言語理解を維持しながら、新しいドメイン固有のデータでトレーニングすることで、事前トレーニング済みの言語モデルの機能を拡張する手法です。ファインチューニングとは異なり、CPT は元の事前トレーニング (マスクまたは因果言語モデリングなど) と同じ教師なし目標を使用し、モデルのアーキテクチャを変更しません。

CPT は、ラベル付けされていないドメイン固有のデータ (医療テキストや財務テキストなど) が大量にあり、一般的な機能を失わずに特殊な領域でモデルのパフォーマンスを向上させたい場合に特に役立ちます。このアプローチにより、広範なタスク固有の微調整を必要とせずに、ターゲットドメインのゼロショットと数ショットのパフォーマンスが向上します。

Amazon Nova モデルのカスタマイズで CPT を使用する詳細な手順については、Amazon Nova ユーザーガイドの「継続的な事前トレーニング (CPT)」セクションを参照してください。