モデルをカスタマイズしてユースケースのパフォーマンスを向上させる

教師ありファインチューニング

特定のタスクのパフォーマンスを向上させるためにモデルをトレーニングするために、ラベル付きデータを提供します。ラベル付き例のトレーニングデータセットを提供することで、モデルは特定のタイプの入力に対して生成する出力のタイプを関連付けることを学びます。モデルパラメータはプロセスで調整され、トレーニングデータセットで表されるタスクのモデルのパフォーマンスが向上します。

教師ありファインチューニングの使用の詳細については、「」を参照してくださいAmazon Bedrock でファインチューニングを使用してモデルをカスタマイズする。

強化ファインチューニング

強化ファインチューニングは、フィードバックベースの学習を通じて、基盤モデルの特定のユースケースとの整合性を向上させます。ラベル付き入出力ペアを提供する代わりに、レスポンスの品質を評価する報酬関数を定義します。このモデルは、これらの報酬関数からフィードバックスコアを受け取ることで繰り返し学習します。

トレーニングプロンプトデータセットをアップロードしたり、既存の Bedrock 呼び出しログを提供したりできます。を使用して報酬関数を定義 AWS Lambda し、レスポンスの品質を評価できます。Amazon Bedrock はトレーニングワークフローを自動化し、モデル学習の進行状況をモニタリングするためのリアルタイムのメトリクスを提供します。

強化ファインチューニングの使用の詳細については、「」を参照してくださいAmazon Bedrock で強化ファインチューニングを使用してモデルをカスタマイズする。

留出

蒸留を使用して、より大規模でインテリジェントなモデル (教師と呼ばれる) から、より小規模かつ高速でコスト効率の高いモデル (生徒と呼ばれる) に知識を移行します。Amazon Bedrock は、最新のデータ合成技術を使用して教師モデルから多様で高品質の応答を生成し、生徒モデルをファインチューニングすることで、蒸留プロセスを自動化します。

蒸留を使用するには、ユースケースに合わせて達成する必要がある精度の教師モデルと、ファインチューニングする生徒モデルを選択します。次に、ユースケース固有のプロンプトを入力データとして指定します。Amazon Bedrock は、指定されたプロンプトに対する応答を教師モデルから生成し、その応答を使用して生徒モデルをファインチューニングします。オプションで、ラベル付きの入力データをプロンプトと応答のペアとして指定できます。

蒸留の使用の詳細については、「Amazon Bedrock で蒸留を使用してモデルをカスタマイズする」を参照してください。