反復トレーニング

概要:

反復トレーニングは、トレーニング、評価、エラーの分析、データ/目標/ハイパーパラメータの調整など、さまざまなトレーニング方法で複数のトレーニングサイクルを通じてモデルを繰り返しファインチューニングするプロセスであり、各ラウンドは前のチェックポイントから開始されます。このアプローチにより、モデル障害モードを体系的にターゲットにし、特定の弱点に対処する厳選された例を取り入れ、時間の経過に伴い変化する要件に適応できます。

シングルパストレーニングの利点:

仕組み

チェックポイントの場所とアクセス

各トレーニングジョブが完了すると、トレーニング設定の output_path パラメータで指定された出力場所にマニフェストファイルが生成されます。

チェックポイントにアクセスするには

manifest.json 構造の例

{  
  "checkpoint_s3_bucket": "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<job-name>/stepID",  
  ...  
}

エスクローバケットについて

Amazon Nova の重みは独自のものであるため、トレーニング済みのモデルチェックポイントは、アカウントにコピーされるのではなく、AWS が管理するアカウント内のエスクロー S3 バケットに保存されます。これらのエスクローバケットには、以下の特徴があります:

次のトレーニング実行でエスクローバケットパスを model_name_or_path として使用して、反復トレーニングを続行できます。

反復トレーニングにチェックポイントを使用する

前のチェックポイントをベースモデルとして使用するように次のトレーニングジョブを設定します。

run:  
  name: "my-iterative-training-job"  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<previous-job-name>"  
  data_s3_path: s3://<bucket>/<data-file>.jsonl  
  replicas: 4

反復トレーニングを使用する場合

最適なユースケース

以下の場合は、反復トレーニングを使用します。

堅牢な評価フレームワークの例

一般的なパターン

SFT → RFT パイプライン: 頻繁に使用される反復パターンには以下が含まれます。

このシーケンスは、モデルのパフォーマンスが初期段階で低い場合に不可欠です。精度がほぼゼロに近いモデルに対して RFT を実施しても、まず SFT を通じて基本的な問題解決機能を確立しない限り、パフォーマンスは向上しません。

反復トレーニングを使用しない場合

以下の場合、反復トレーニングは避けてください。

ワークフローの例: SFT → RFT

この例では、推論モデルの一般的な反復トレーニングパターンを示しています。

ステップ 1: 初期 SFT トレーニング

データセットを使用して SFT トレーニングジョブを設定して起動します。

run:  
  name: "initial-sft-training"  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: "nova-lite-2/prod"  
  data_s3_path: s3://<bucket>/sft-training-data.jsonl  
  validation_data_s3_path: s3://<bucket>/sft-validation-data.jsonl

理由: SFT は、モデル出力を目的の形式と音声に形成し、基本的な機能を確立する追加のデモンストレーションを提供します。

トレーニング完了後

ステップ 2: SFT チェックポイントでの RFT トレーニング

SFT チェックポイントを使用して新しい RFT トレーニングジョブを作成します。

run:  
  name: "rft-on-sft-checkpoint"  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<initial-sft-training>"  
  data_s3_path: s3://<bucket>/rft-training-data.jsonl  
  reward_lambda_arn: <your-reward-function-arn>

理由: RFT トレーニングは SFT 基盤に基づいて構築されるため、モデルは報酬関数によって最適化されたより複雑な推論パターンを開発できます。

ステップ 3: 評価と反復処理

RFT チェックポイントで評価を実行してパフォーマンスを評価します。

run:  
  name: "evaluate-rft-checkpoint"  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<rft-on-sft-checkpoint>"  
  data_s3_path: s3://<bucket>/evaluation-data.jsonl

ターゲットメトリクスが満たされない場合は、調整されたデータまたはハイパーパラメータで反復処理を続行します。

各イテレーションにおける進行状況のモニタリング

ジョブの MLflow を設定することで、MLflow を介してメトリクスを追跡できます。

MLflow アプリを作成する

Studio UI の使用: Studio UI を使用してトレーニングジョブを作成すると、デフォルトの MLflow アプリが自動的に作成され、[詳細オプション] でデフォルトで選択されます。

CLI の使用: CLI を使用する場合は、MLflow アプリを作成し、トレーニングジョブ API リクエストへの入力として渡す必要があります。

mlflow_app_name="<enter your MLflow app name>"  
role_arn="<enter your role ARN>"   
bucket_name="<enter your bucket name>"   
region="<enter your region>"  
  
mlflow_app_arn=$(aws sagemaker create-mlflow-app \  
  --name $mlflow_app_name \  
  --artifact-store-uri "s3://$bucket_name" \  
  --role-arn $role_arn \  
  --region $region)

MLflow アプリにアクセスする

CLI の使用: MLflow アプリ UI にアクセスするための署名付き URL を作成します。

aws sagemaker create-presigned-mlflow-app-url \  
  --arn $mlflow_app_arn \  
  --region $region \  
  --output text

Studio UI の使用: Studio UI は、MLflow に保存されている主要なメトリクスを表示し、MLflow アプリ UI へのリンクを提供します。

追跡する主要なメトリクス

これらのメトリクスをイテレーションごとにモニタリングして改善を評価し、ジョブの進行状況を追跡します。

SFT の場合

RFT の場合

全般

停止するタイミングの判断

以下の場合に反復処理を停止します。

詳細な評価手順については、「評価」セクションを参照してください。

ベストプラクティス

小規模から始めて徐々にスケールする

最小限のデータセットと単一のトレーニングエポックから始めて、スケールアップする前にアプローチを検証します。これにより信頼が構築され、問題を早期に特定するのに役立ちます。

明確な成功メトリクスを確立する

開始する前に、定量的および定性的な指標を定義します。

ユースケース別の成功メトリクスの例

自動評価を実装する

各ラウンド後にパフォーマンスを追跡するように自動評価パイプラインを設定し、迅速なイテレーションと目標比較を可能にします。

厳格なバージョン管理を維持する

各イテレーションで以下を記録します。

これにより、組織の知識が構築され、デバッグが可能になります。

量よりもデータ品質を重視する

以前のラウンドの失敗ケースを分析し、データセットサイズを増やすだけでなく、ターゲットを絞った高品質の例を追加します。

イテレーション予算を計画する

一般的な範囲として 3～5 回のイテレーションを計画します。

計算予算とパフォーマンス改善率に基づいて調整します。

ロールバック機能を実装する

イテレーションによってリグレッションが発生した場合:

ロールバックの例

run:  
  name: "rollback-to-iteration-2"  
  model_type: amazon.nova-2-lite-v1:0:256k  
  # Use iteration 2 checkpoint instead of failed iteration 3  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<iteration-2-job-name>"

コストに関する考慮事項

チェックポイントストレージ

コスト最適化のヒント

制限事項

モデルファミリーの整合性

反復トレーニングを行う場合は、すべてのイテレーションで同じモデルタイプを使用する必要があります。

初期トレーニング

run:  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: "nova-lite-2/prod"

以降のイテレーションでは、同じ model_type を使用する必要があります

run:  
  model_type: amazon.nova-2-lite-v1:0:256k  # Must match original  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<job-name>"

トレーニング手法の一貫性

トレーニング手法はイテレーション間で一貫性を保つ必要があります。

反復トレーニングにおける LoRA アダプターの仕組み

技術互換性マトリックス

ジョブを開始する前に互換性を検証する

トラブルシューティング

エラー:「互換性のないモデルトレーニング手法が検出されました」

原因: トレーニング手法 (LoRA とフルランク) がチェックポイントの手法と一致しません。

解決策: レシピが元のモデルと同じトレーニング手法を使用していることを確認します。

エラー:「model_name_or_path から抽出されたジョブのベースモデルが model_type と一致しません」

原因: model_type で指定されたモデルタイプがチェックポイントの実際のモデルと一致しません。

解決策: 以下を確認します。

正しい設定の例

run:  
  model_type: amazon.nova-2-lite-v1:0:256k  # Must match checkpoint's model  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<job-name>"

エラー:「モデル設定が見つかりません」

原因: model_name_or_path の S3 パスが無効またはアクセスできません。

解決策:

イテレーション後のパフォーマンスリグレッション

症状: 評価メトリクスが新しいトレーニングのイテレーション後に低下する。

解決策: