2.0 Amazon Nova での教師ありファインチューニング - Amazon Bedrock

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

2.0 Amazon Nova での教師ありファインチューニング

概要:

Amazon Nova 2.0 SFT データは、1Amazon Nova.0 と同じ Converse API 形式を使用し、オプションの推論コンテンツフィールドが追加されています。完全な形式の仕様については、ReasoningContentBlock」および「Converse API スキーマ」を参照してください。

サポートされている機能

  • 入力タイプ – ユーザーコンテンツブロック内のテキスト、イメージ、またはビデオ

  • アシスタントコンテンツ – テキストのみのレスポンスと推論コンテンツ

  • データセット構成 – 同種である必要があります。テキストのみのターン、テキスト + イメージのターン、またはテキスト + ビデオのターンのいずれかを選択します。

重要

同じデータセット内または異なるターン間でイメージと動画を混在させることはできません。

現在の制限事項

  • ツールの使用 – ツールの使用は入力形式でサポートされていますが、現在 2Amazon Nova.0 SFT ではサポートされていません。ツールセクションを追加すると、ジョブが失敗する可能性があります。

  • マルチモーダル推論コンテンツ – Converse 形式はイメージベースの推論コンテンツをサポートしていますが、2.0 SFT Amazon Nova ではサポートされていません。

  • 検証セット – 検証セットの提供は UI を通じてサポートされる場合がありますが、SFT トレーニング中はサポートされません。

サポートされているメディア形式

  • イメージ – PNG、JPEG、GIF

  • 動画 – MOV、MKV、MP4

データ形式の例

Text-only

この例では、1.0 Amazon Nova と互換性のある基本的なテキストのみの形式を示しています。

{ "schemaVersion": "bedrock-conversation-2024", "system": [ { "text": "You are a digital assistant with a friendly personality" } ], "messages": [ { "role": "user", "content": [ { "text": "What country is right next to Australia?" } ] }, { "role": "assistant", "content": [ { "text": "The closest country is New Zealand" } ] } ] }
Text with reasoning

この例では、2.0 Amazon Nova のオプションの推論コンテンツを含むテキストを示しています。

{ "schemaVersion": "bedrock-conversation-2024", "system": [ { "text": "You are a digital assistant with a friendly personality" } ], "messages": [ { "role": "user", "content": [ { "text": "What country is right next to Australia?" } ] }, { "role": "assistant", "content": [ { "reasoningContent": { "reasoningText": { "text": "I need to use my world knowledge of geography to answer this question" } } }, { "text": "The closest country to Australia is New Zealand, located to the southeast across the Tasman Sea." } ] } ] }
注記

現在、 reasoningTextは 内でのみサポートされていますreasoningContent。マルチモーダル推論コンテンツはまだ利用できません。

Image + text

この例では、画像入力をテキストに含める方法を示します。

{ "schemaVersion": "bedrock-conversation-2024", "system": [ { "text": "You are a helpful assistant." } ], "messages": [ { "role": "user", "content": [ { "image": { "format": "jpeg", "source": { "s3Location": { "uri": "s3://your-bucket/your-path/your-image.jpg", "bucketOwner": "your-aws-account-id" } } } }, { "text": "Which country is highlighted in the image?" } ] }, { "role": "assistant", "content": [ { "reasoningContent": { "reasoningText": { "text": "I will determine the highlighted country by examining its location on the map and using my geographical knowledge" } } }, { "text": "The highlighted country is New Zealand" } ] } ] }
Video + text

この例では、ビデオ入力をテキストに含める方法を示します。

{ "schemaVersion": "bedrock-conversation-2024", "system": [ { "text": "You are a helpful assistant." } ], "messages": [ { "role": "user", "content": [ { "video": { "format": "mp4", "source": { "s3Location": { "uri": "s3://your-bucket/your-path/your-video.mp4", "bucketOwner": "your-aws-account-id" } } } }, { "text": "What is shown in this video?" } ] }, { "role": "assistant", "content": [ { "reasoningContent": { "reasoningText": { "text": "I will analyze the video content to identify key elements" } } }, { "text": "The video shows a map with New Zealand highlighted" } ] } ] }

推論モードと非推論モード

推論コンテンツを理解する: 推論コンテンツ (chain-of-thought) は、最終的な回答を生成する前にモデルの中間思考ステップをキャプチャします。次にassistantreasoningContentフィールドを使用して、これらの推論トレースを含めます。

損失の計算方法:

  • 推論コンテンツあり – トレーニング損失には、推論トークンと最終出力トークンの両方が含まれます。

  • 推論コンテンツなし – トレーニング損失は最終的な出力トークンでのみ計算されます

マルチターン会話では、複数のアシスタントターンreasoningContentにまたがって を含めることができます。

推論モードを有効にするタイミング

モデルreasoning_enabled: trueが最終的な出力を生成する前に思考トークンを生成する場合、または複雑な推論タスクのパフォーマンスを向上させる必要がある場合は、トレーニング設定で を設定します。

注記

トレーニングデータに推論コンテンツが含まれているかどうかにかかわらず、推論モードを有効にできます。ただし、モデルがこれらの例から学習し、推論の品質を向上させることができるように、トレーニングデータに推論トレースを含めることをお勧めします。

明示的な推論ステップの恩恵を受けない単純なタスクでトレーニングする場合や、速度を最適化してトークン使用量を減らすreasoning_enabled: false場合は、 を設定します。

フォーマットガイドライン

  • 推論コンテンツにはプレーンテキストを使用します。

  • タスクで特に必要な場合</thinking>を除いて、 <thinking>や などのマークアップタグは避けてください。

  • 推論の内容が明確で、問題解決プロセスに関連していることを確認します。

推論データの生成

データセットに推論トレースがない場合は、 のような推論可能なモデルを使用して作成できます。入力と出力のペアをモデルに提供し、推論プロセスを取得して推論拡張データセットを構築します。

トレーニングに推論トークンを使用する

推論モードを有効にしてトレーニングすると、モデルは内部推論を最終回答から分離することを学習します。トレーニングプロセスは以下を実行します。

  • 入力、推論、回答のデータをトリプルとして整理します

  • 推論トークンと回答トークンの両方からの標準次トークン予測損失を使用して最適化

  • レスポンスを生成する前に、モデルに内部的に理由を説明するよう促します

効果的な推論コンテンツ

高品質の推論コンテンツには、以下を含める必要があります。

  • 中間的な思考と分析

  • 論理的な控除と推論ステップ

  • Step-by-stepの問題解決アプローチ

  • ステップと結論の明示的な関係

これは、モデルが回答する前に考える能力を開発するのに役立ちます。

データセット準備ガイドライン

次の表に、トレーニングデータセットを準備するためのガイドラインを示します。

データセット準備ガイドライン

ガイドライン 説明
サイズと品質
  • 推奨サイズ: 2,000~10,000 サンプル

  • 最小サンプル: 200

  • 数量よりも品質を優先します。例が正確で、適切に注釈が付けられていることを確認します。

  • データセットは、本番環境のユースケースを厳密に反映する必要があります。

多様性

以下を実行するさまざまな例を含めます。

  • 予想される入力の全範囲をカバーする

  • さまざまな難易度を表す

  • エッジケースとバリエーションを含める

  • パターンを絞り込むためのオーバーフィットの防止

出力フォーマット

アシスタントレスポンスで目的の出力形式を明確に指定します。例としては、JSON 構造、テーブル、CSV 形式、アプリケーション固有のカスタム形式などがあります。

マルチターンの会話
  • 損失は、ユーザーのターンではなく、アシスタントのターンでのみ計算されます。

  • 各アシスタントレスポンスは適切にフォーマットする必要があります。

  • 会話のターン全体で一貫性を維持します。

品質チェックリスト
  • 十分なデータセットサイズ (2,000~10,000 サンプル)

  • すべてのユースケースをカバーするさまざまな例

  • 明確で一貫した出力フォーマット

  • 正確なラベルと注釈

  • 本番シナリオの代表者

  • 矛盾やあいまいさがない