モデルをカスタマイズしてユースケースのパフォーマンスを向上させる

留出

蒸留を使用して、より大規模でインテリジェントなモデル (教師と呼ばれる) から、より小規模かつ高速でコスト効率の高いモデル (生徒と呼ばれる) に知識を移行します。Amazon Bedrock は、最新のデータ合成技術を使用して教師モデルから多様で高品質の応答を生成し、生徒モデルをファインチューニングすることで、蒸留プロセスを自動化します。

蒸留を使用するには、ユースケースに合わせて達成する必要がある精度の教師モデルと、ファインチューニングする生徒モデルを選択します。次に、ユースケース固有のプロンプトを入力データとして指定します。Amazon Bedrock は、指定されたプロンプトに対する応答を教師モデルから生成し、その応答を使用して生徒モデルをファインチューニングします。オプションで、ラベル付きの入力データをプロンプトと応答のペアとして指定できます。

蒸留の使用の詳細については、「Amazon Bedrock で蒸留を使用してモデルをカスタマイズする」を参照してください。

強化ファインチューニング

強化ファインチューニングは、フィードバックベースの学習を通じて、基盤モデルの特定のユースケースとの整合性を向上させます。ラベル付き入出力ペアを提供する代わりに、レスポンスの品質を評価する報酬関数を定義します。このモデルは、これらの報酬関数からフィードバックスコアを受け取ることで繰り返し学習します。

既存の Bedrock 呼び出しログをトレーニングデータとして使用したり、カスタムプロンプトデータセットをアップロードしたりできます。を使用して報酬関数を定義AWS Lambdaし、レスポンスの品質を評価できます。Amazon Bedrock はトレーニングワークフローを自動化し、モデル学習の進行状況をモニタリングするためのリアルタイムのメトリクスを提供します。

強化ファインチューニングの使用の詳細については、「」を参照してくださいAmazon Bedrock で強化ファインチューニングを使用してモデルをカスタマイズする。

教師ありファインチューニング

特定のタスクのパフォーマンスを向上させるためにモデルをトレーニングするために、ラベル付きデータを提供します。ラベル付き例のトレーニングデータセットを提供することで、モデルは特定のタイプの入力に対して生成する出力のタイプを関連付けることを学びます。モデルパラメータはプロセスで調整され、トレーニングデータセットで表されるタスクのモデルのパフォーマンスが向上します。

継続的な事前トレーニング

ラベル付けされていないデータを提供し、特定のタイプの入力に慣れることで、基盤モデルを事前トレーニングします。特定のトピックからのデータを提供して、モデルをそれらの領域に公開できます。継続的な事前トレーニングプロセスでは、入力データに対応し、ドメインの知識を向上させるためにモデルパラメータを微調整します。

例えば、ビジネスドキュメントなど、大規模言語モデルのトレーニングには公開されていないプライベートデータを使用してモデルをトレーニングできます。さらに、ラベル付けされていないデータが利用可能になったときに、モデルを再トレーニングしてモデルを改善し続けることができます。