翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

継続的事前トレーニング (CPT)

継続的な事前トレーニング (CPT) は、基盤モデルの事前トレーニングフェーズを拡張するトレーニング手法であり、それを特定のドメインまたはコーポラからのラベル付けされていないテキストにさらします。ラベル付き入出力ペアを必要とする教師ありファインチューニングとは異なり、CPT は raw ドキュメントをトレーニングして、モデルが新しいドメインに関する深い知識を取得し、ドメイン固有の用語と書き込みパターンを学習し、特定のコンテンツタイプやサブジェクト領域に適応するのに役立ちます。

このアプローチは、法的文書、医学文献、技術文書、独自のビジネスコンテンツなど、ドメイン固有のテキストデータが多く (何十億ものトークン）、モデルがそのドメインでネイティブな流暢さを開発したい場合に特に役立ちます。一般的に、CPT ステージの後、モデルが新しく取得した知識を使用し、有用なタスクを完了できるように、モデルは追加の命令調整ステージを受ける必要があります。

サポートされているモデル

CPT は、次の Amazon Nova モデルで使用できます。

Nova 1.0 と Nova 2.0 を使用するタイミング

Amazon Nova モデルファミリーは、精度、速度、コストの間で最適化するために、複数の価格パフォーマンスの運用ポイントを提供します。

以下が必要な場合は、Nova 2.0 を選択します。

以下が適用される場合は、Nova 1.0 を選択します。