翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

継続的なトレーニング前およびトレーニング中

Nova Forge CPT は、中間チェックポイントへのアクセスや Nova の事前トレーニングコーパスとのデータミキシングなど、標準 CPT を超える高度な機能を提供します。これらの機能により、ドメインの適応が効率化され、モデルの一般的な機能の保存が向上します。

中間チェックポイントとは何ですか? なぜそれらが必要なのですか?

中間チェックポイントは、モデルが最終的な本番稼働準備状態に達する前に、事前トレーニングのさまざまな段階で保存された Amazon Nova モデルのスナップショットです。モデル開発中、Amazon Nova は、一定の学習レートによる初期事前トレーニング、学習レートのランプダウン、コンテキスト拡張トレーニング、最後に指示に従った調整と安全トレーニングという複数のトレーニングフェーズを受けます。CPT の場合、中間チェックポイントは、よりプラスチックでドメイン適応を受け入れるため、最終的な Prod チェックポイントよりも望ましいことがよくあります。Prod チェックポイントは、広範な指示に従った調整と安全トレーニングを受けています。これにより、一般的な会話用途に合わせてモデルを最適化できますが、CPT 中に新しいドメイン固有のパターンを学習するのに抵抗する可能性があります。対照的に、部分的および完全に事前トレーニングされたテキストのみのチェックポイントは、モデルの事前トレーニング特性を保持します。特定の動作に大きく誘導されていないため、ドメイン適応の開始点がより効率的になります。大規模な CPT (>10B トークン) を実行する場合、中間チェックポイントから開始すると、通常、収束が速くなり、トレーニングの安定性が向上し、ドメイン知識の取得がより効果的になります。ただし、小規模 CPT (<10B トークン) の場合、または指示に従う機能を保持する必要がある場合は、モデルの会話能力を維持しながらドメインの適応を可能にするため、Prod チェックポイントが適している場合があります。

CPT には複数の中間チェックポイントが必要です。これは、モデルが新しいドメイン知識をどの程度効率的に吸収できるかに影響する、さまざまなレベルのモデル可搬性を提供するためです。最終的な Prod チェックポイントは、広範な指示に従った調整と安全トレーニングを受けており、一般的な会話用途向けに最適化されていますが、新しいドメイン固有のパターンの学習には耐性があります。つまり、トレーニング後に強化されています。対照的に、以前のチェックポイントはモデルのトレーニング前特性を保持し、特定の動作に大きく誘導されていないため、よりプラスチックで、ドメインの適応を受け入れます。

最適なトレーニング効率を実現するために、複数の中間チェックポイントが用意されています。

どのようなチェックポイントを利用できますか?

ノバ 1.0

Amazon Nova 1.0 ファミリーには 3 つのモデル (Micro、Lite、Pro) があり、モデルごとに 3 つのチェックポイントを使用できます。

ノバ 2.0

Amazon Nova Lite 2.0 チェックポイントは 3 つあります。

次の表では、トレーニング前とトレーニング中のさまざまな条件について詳しく説明します。

どのチェックポイントを使用しますか?

部分的に事前トレーニングされたテキストのみと完全に事前トレーニングされたテキストのみのチェックポイントは、通常、より速く収束し、ドメイン適応のためのトレーニングステップが少なくなります。ただし、指示調整がないため、有用なタスクを実行して指示に従うには、トレーニング後のステップを行う必要があります。GA チェックポイントは、適応するためにより多くのステップが必要になる場合がありますが、小規模な実験のためのより安全な出発点を提供し、CPT トレーニング後もトレーニング後の機能の一部を維持します。

一般に、大規模なトレーニングデータセット (>10B トークン) では、モデルのナレッジベースが大幅に変更されるため、トレーニング済みの部分的なテキストのみまたは完全にトレーニング済みのテキストのみのチェックポイントから開始して、より効率的で安定したトレーニングを行います。小さなデータセット (<10B トークン) では、GA チェックポイントを使用して、ドメインに適応しながら指示に従う機能を保持します。

1.0 モデルまたは 2.0 モデルでデータミキシングを使用する方法

新しいドメインデータで CPT を実行する場合、新しいデータと、モデルのトレーニング前段階で以前に使用したデータの一部を組み合わせることが非常に有益です。古いデータと新しいドメインデータを混在させると、次の 2 つの問題が解決します。

Nova CPT データ混合機能

Amazon Nova の事前トレーニングデータとチェックポイントへのアクセスは、Amazon Nova CPT カスタマイズの中核となるサービスです。Amazon Nova CPT のカスタマイズにより、ドメインデータを Amazon Nova のトレーニング前コーパスと簡単に混在させることができます。さらに、特定の Amazon Nova データカテゴリ (コード、数学、推論など) のサンプリング比率を変更し、それらの比率をドメインデータを補完するように制御できます。これにより、モデルを特定のドメインに適応させながら、ユースケースに沿った機能を強化できます。

最適な混合比率を見つける

Amazon Nova データとドメインデータの最適な比率は、データセットのドメイン、複雑さ、サイズ、品質、一般的な機能を維持することの重要性によって異なります。この比率は、実験を通じて検出する必要があります。混合する Amazon Nova データの量を決定する実験フレームワークは次のとおりです。

ドメインデータの代表的なサブセット (5B トークンなど) を選択し、すべての実験実行でこの定数を維持します。

Amazon Nova データの量だけが異なる小規模な CPT 実験を実行します。

ドメインおよび一般的なドメインベンチマークで の各チェックポイントを評価します。また、開始チェックポイント (トレーニング前の Amazon Nova チェックポイント) も評価します。

最適なミキシング比率を特定したら、選択したミキシング比率で完全なドメインデータセットを使用してフルスケール CPT を実行します。

制限事項

現在の CPT はテキストデータのみをサポートし、顧客のマルチモーダルデータセットはサポートしていません。