モデル推論を使用してモデルのレスポンスを強化する

基盤モデルによっては、モデル推論を実行できます。モデル推論では、より大規模で複雑なタスクを、より小規模でシンプルなステップに分割できます。このプロセスは多くの場合、思考の連鎖 (CoT) 推論と呼ばれます。思考の連鎖推論は、モデルが応答する前に考察する機会を与えることで、モデルの正解率が向上することがよくあります。モデル推論は、マルチステップ分析、数値問題、複雑な推論タスクなどにおいて最も有用です。

例えば、数学的な単語問題を解く場合、モデルはまず関連する変数を特定したら、与えられた情報に基づいて方程式を構築し、最後にそれらの方程式を解いて解決できます。このような戦略の場合、エラーを最小限に抑えるのみでなく、推論プロセスをより明確化して理解しやすくするため、基盤モデルの品質向上につながります。

モデルの推論はすべてのタスクに必要であるとは限らず、レイテンシーの増大や出力トークン数の増加など、追加のオーバーヘッドを伴います。追加の説明を必要としないシンプルなタスクは、CoT 推論に適していません。

モデルによっては、モデルの推論に割り当てられる出力トークン数を設定できるわけではないことに注意が必要です。

モデル推論は、次のモデルで使用できます。