翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

トレーニングジョブの送信

トレーニングジョブの起動

エージェントがデプロイされ、データセットが S3 になったら、次のいずれかの方法を使用してトレーニングジョブを作成します。

SageMaker AI Studio

SageMaker AI Python SDK

サポートされているモデルを確認する

from sagemaker.train.multi_turn_rl_trainer import MultiTurnRLTrainer

supported_models = MultiTurnRLTrainer.list_supported_models()
print(f"Supported MTRL models ({len(supported_models)}):")
for m in supported_models:
    print(f"  - {m}")

エージェント環境をセットアップする

オプション 1: Bedrock AgentCore ランタイム

# List available runtimes
runtimes = MultiTurnRLTrainer.list_bedrock_agentcore_runtimes()
for rt in runtimes:
    print(f"  - {rt['name']} ({rt['status']}) → {rt['arn']}")

オプション 2: カスタム Lambda エージェント

from sagemaker.train.agent_lambda import AgentLambda

# Create from inline code
adapter = AgentLambda.create(
    source='''
import json
def handler(event, context):
    prompt = event.get("prompt", "")
    return {"statusCode": 200, "body": json.dumps({"status": "ok", "agentResponse": prompt})}
''',
    role="arn:aws:iam::123456789012:role/AgentLambdaRole",
)

# Create from a local file
adapter = AgentLambda.create(
    source="~/my_agent_handler.py",
    role="arn:aws:iam::123456789012:role/AgentLambdaRole",
)

# Create from S3
adapter = AgentLambda.create(
    source="s3://my-bucket/agent_handler.py",
    role="arn:aws:iam::123456789012:role/AgentLambdaRole",
)

# Wrap an existing Lambda
adapter = AgentLambda.get("arn:aws:lambda:us-west-2:123456789012:function:my-agent")

データセットを登録する (オプション)

from sagemaker.ai_registry.dataset import DataSet

dataset = DataSet.create(
    name="my-mtrl-dataset",
    source="s3://my-bucket/prompts/training_prompts.parquet"
)
print(f"Dataset ARN: {dataset.arn}")

Nova の制限付きモデルパッケージグループを作成する (オプション)

Nova モデル (nova-textgeneration-lite-v2) を選択する場合は、トレーニングジョブを送信する前に、オプションで制限付きモデルパッケージグループを作成します (次のステップ）。このステップをスキップすると、SDK によって自動的に作成されます。

制限付きモデルパッケージグループ (RMPG) は、ManagedStorageType: 制限付きモデルパッケージグループです。これは、モデルの重みが によって管理され AWS 、顧客が直接アクセスできない Nova などのクローズドソースモデルに必要です。

RFT ジョブスキーマには、2 つの個別の制限付き MPGsが必要です。

from sagemaker.core.resources import Job, ModelPackageGroup
from sagemaker.core.shapes import ManagedConfiguration

model_name = "nova-textgeneration-lite-v2"

# Restricted configuration
managed_config = ManagedConfiguration(managed_storage_type="Restricted")

# Output Model package group
output_mpg_name = f"{model_name}-mtrl-output-mpg"
create_kwargs = {
    "model_package_group_name": output_mpg_name,
    "region": "us-east-1",
    "managed_configuration": managed_config
}
output_mpg = ModelPackageGroup.create(**create_kwargs)

# Intermediate Model package group
intermediate_mpg_name = f"{model_name}-mtrl-inter-mpg"
create_kwargs = {
    "model_package_group_name": intermediate_mpg_name,
    "region": "us-east-1",
    "managed_configuration": managed_config
}
intermediate_mpg = ModelPackageGroup.create(**create_kwargs)

モデルパッケージグループが作成されたら、トレーニングジョブを送信するときに次のステップでグループを渡します。

Bedrock AgentCore でトレーニングジョブを送信する

from sagemaker.train.multi_turn_rl_trainer import MultiTurnRLTrainer

trainer = MultiTurnRLTrainer(
    model="openai-reasoning-gpt-oss-20b",
    agent_env="arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent-runtime",
    training_dataset="s3://my-bucket/prompts/prompts.parquet",
    mlflow_app_arn="arn:aws:sagemaker:us-west-2:123456789012:mlflow-app/mlflow-app-id",
    s3_output_path="s3://my-bucket/output/",
    role="arn:aws:iam::123456789012:role/SageMakerRole",
    accept_eula=True,
)

# View and adjust hyperparameters
trainer.hyperparameters.get_info()
trainer.hyperparameters.max_epochs = 1
trainer.hyperparameters.global_batch_size = 32
trainer.hyperparameters.max_steps = 12

job = trainer.train(wait=True)
print(f"Job: {job.job_name}")
print(f"Status: {job.job_status}")
print(f"Output Model Package: {job.output_model_package_arn}")

カスタム Lambda エージェントを使用してトレーニングジョブを送信する

trainer = MultiTurnRLTrainer(
    model="openai-reasoning-gpt-oss-20b",
    agent_env=adapter,  # AgentLambda object or Lambda ARN string
    training_dataset="s3://my-bucket/prompts/prompts.parquet",
    mlflow_app_arn="arn:aws:sagemaker:us-west-2:123456789012:mlflow-app/mlflow-app-id",
    s3_output_path="s3://my-bucket/output/",
    role="arn:aws:iam::123456789012:role/SageMakerRole",
    accept_eula=True,
)

trainer.hyperparameters.max_epochs = 1
trainer.hyperparameters.global_batch_size = 32
trainer.hyperparameters.max_steps = 12

job = trainer.train(wait=True)
print(f"Job: {job.job_name}")
print(f"Status: {job.job_status}")
print(f"Output Model Package: {job.output_model_package_arn}")

Nova の制限付きモデルパッケージグループを使用してトレーニングジョブを送信する

制限付きモデルパッケージグループの作成方法については、上記のステップ (Create Restricted Model Package Group for Nova) を参照してください。

from sagemaker.train.multi_turn_rl_trainer import MultiTurnRLTrainer

trainer = MultiTurnRLTrainer(
    model="nova-textgeneration-lite-v2",
    agent_env="arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent-runtime",
    training_dataset="s3://my-bucket/prompts/prompts.parquet",
    mlflow_app_arn="arn:aws:sagemaker:us-west-2:123456789012:mlflow-app/mlflow-app-id",
    s3_output_path="s3://my-bucket/output/",
    role="arn:aws:iam::123456789012:role/SageMakerRole",
    accept_eula=True,
    output_model_package_group=output_mpg,
    intermediate_checkpoint_model_package_group=intermediate_mpg
)

# View and adjust hyperparameters
trainer.hyperparameters.get_info()
trainer.hyperparameters.max_epochs = 1
trainer.hyperparameters.global_batch_size = 32
trainer.hyperparameters.max_steps = 12

job = trainer.train(wait=True)
print(f"Job: {job.job_name}")
print(f"Status: {job.job_status}")
print(f"Output Model Package: {job.output_model_package_arn}")

AWS CLI

CreateJob API を使用してトレーニングジョブを作成します。エージェント設定、トレーニングデータの場所、ベースモデル、出力設定は、 で指定しますJobConfigDocument。

完全な JobConfigDocument スキーマを取得するには:

aws sagemaker list-job-schema-versions --job-category AgentRFT
aws sagemaker describe-job-schema-version --job-category AgentRFT --version "1.0.0"

Bedrock AgentCore を使用してジョブを作成する

aws sagemaker create-job \
  --job-category AgentRFT \
  --job-name "my-agent-rft-job" \
  --role-arn "arn:aws:iam::123456789012:role/SageMakerFineTuningJobRole" \
  --job-config-schema-version "1.0.0" \
  --job-config-document '{
    "AgentConfig": {
      "BedrockAgentCoreConfig": {
        "AgentRuntimeArn": "arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent"
      }
    },
    "InputDataConfig": [...],
    "OutputDataConfig": {...},
    "ModelPackageConfig": {...},
    "TrainingConfig": {...}
  }' \
  --region us-west-2

カスタム Lambda エージェントを使用してジョブを作成する

aws sagemaker create-job \
  --job-category AgentRFT \
  --job-name "my-custom-agent-rft-job" \
  --role-arn "arn:aws:iam::account-id:role/SageMakerFineTuningJobRole" \
  --job-config-schema-version "1.0.0" \
  --job-config-document '{
    "AgentConfig": {
      "CustomAgentLambdaConfig": {
        "LambdaArn": "arn:aws:lambda:us-west-2:account-id:function:rft-agent-forwarder"
      }
    },
    "InputDataConfig": [...],
    "OutputDataConfig": {...},
    "ModelPackageConfig": {...},
    "TrainingConfig": {...}
  }' \
  --region us-west-2

boto3

Bedrock AgentCore を使用してジョブを作成する

import json
import boto3

sm = boto3.client("sagemaker")

response = sm.create_job(
    JobName="my-agent-rft-job",
    RoleArn="arn:aws:iam::123456789012:role/SageMakerFineTuningJobRole",
    JobCategory="AgentRFT",
    JobConfigSchemaVersion="1.0.0",
    JobConfigDocument=json.dumps({
        "AgentConfig": {
            "BedrockAgentCoreConfig": {
                "AgentRuntimeArn": "arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent"
            }
        },
        "InputDataConfig": [...],
        "OutputDataConfig": {...},
        "ModelPackageConfig": {...},
        "TrainingConfig": {...}
    })
)

print(f"Job ARN: {response['JobArn']}")

カスタム Lambda エージェントを使用してジョブを作成する

import json
import boto3

sm = boto3.client("sagemaker")

response = sm.create_job(
    JobName="my-custom-agent-rft-job",
    RoleArn="arn:aws:iam::account-id:role/SageMakerFineTuningJobRole",
    JobCategory="AgentRFT",
    JobConfigSchemaVersion="1.0.0",
    JobConfigDocument=json.dumps({
        "AgentConfig": {
            "CustomAgentLambdaConfig": {
                "LambdaArn": "arn:aws:lambda:us-west-2:account-id:function:rft-agent-forwarder"
            }
        },
        "InputDataConfig": [...],
        "OutputDataConfig": {...},
        "ModelPackageConfig": {...},
        "TrainingConfig": {...}
    })
)

print(f"Job ARN: {response['JobArn']}")

トレーニングのモニタリング

トレーニングジョブのモニタリング

DescribeJob API を使用して、ジョブの現在のステータスをいつでも確認します。ジョブステータスは を介して移行しInProgress、次に Completed、、Failedまたは に移行しますStopped。

aws sagemaker describe-job \
  --job-name "my-agent-rft-job" \
  --job-category AgentRFT \
  --region us-west-2

SDK を使用します。

# Run without blocking
job = trainer.train(wait=False)
job.wait(poll=5, timeout=3000, max_log_lines=10)
# Check status
job.refresh()
print(f"Status: {job.job_status}")
print(f"Secondary Status: {job.secondary_status}")
print(f"Output Model Package: {job.output_model_package_arn}")
print(f"MLflow Details: {job.mlflow_details}")
print(f"Billable Tokens: {job.billable_token_usage}")
# Open MLflow tracking URL
job.get_mlflow_url()
# Stop a running job
job.stop()
# Attach to an existing job from a different session
existing_job = MultiTurnRLTrainer.attach(job_name="my-existing-job-name")
print(f"Status: {existing_job.job_status}")
print(f"Output Model: {existing_job.output_model_package_arn}")
# List all completed jobs
from sagemaker.train.agent_rft_job import AgentRFTJob
for j in AgentRFTJob.get_all(status_equals="Completed"):
    print(f"{j.job_name}: {j.job_status}")

MLflow でトレーニングをモニタリングする

SageMaker AI はマネージド MLflow と自動的に統合され、トレーニングジョブの進行状況、メトリクス、アーティファクトを追跡します。MLflow 追跡を有効にするには、ジョブの MlflowConfigに を含めますOutputDataConfig。

"OutputDataConfig": {
    "S3OutputPath": "s3://your-bucket/output/",
    "MlflowConfig": {
        "MlflowResourceArn": "arn:aws:sagemaker:us-west-2:123456789012:mlflow-app/my-rft-mlflow-app"
    }
}

前提条件

ログに記録される内容

詳細なトレーニングメトリクスのリファレンス

以下のメトリクスは、各トレーニングステップで記録されます。

ステップカウンターとスループット (training/)

フェーズ期間 (timing_s/)

報酬ディストリビューション (rollout/reward/)

ターンカウント (rollout/turns/)

トークンの長さ (rollout/tokens/)

ログ確率の正常性 (rollout/logprob/)

アドバンテージディストリビューション (rollout/advantage/)

バッチ品質分類 (analysis/)

評価報酬と pass@k (val/reward/)

ベースライン (ステップ 0)、val_every間隔ごと、最終ステップで出力されます。プロンプト別に集計されたrollout/rewardプラスグループ報酬メトリクスと同じディストリビューションメトリクスが含まれます。

ディストリビューション:

グループ報酬 (プロンプトごとの集計):

Pass@k と成功アカウンティング:

評価ターンカウント (val/turns/)

評価トークンの長さ (val/tokens/)

評価ログの確率の正常性 (val/logprob/)

MLflow UI へのアクセス

署名付き URL を使用して MLflow UI にアクセスします。

aws sagemaker create-presigned-mlflow-app-url \
  --arn arn:aws:sagemaker:us-west-2:123456789012:mlflow-app/mlflow-app-id \
  --region us-west-2

出力AuthorizedUrlからブラウザに をコピーします。

エージェントの軌跡とトレース

トレーニング中、SageMaker AI はエージェントとポリシーモデル間のすべてのやり取りを、1 つのロールアウトの完全なレコードである軌跡として記録します。各軌道は、モデルに送信されたすべてのプロンプト、生成されたすべてのレスポンス、行われたすべてのツール呼び出し、最終的な報酬をキャプチャします。軌道は構造化トレースとして MLflow 実験に発行されます。

トレースコンテンツ

MLflow UI での軌道の表示

署名付き URL を使用して MLflow UI にアクセスします。

aws sagemaker create-presigned-mlflow-app-url \
  --arn arn:aws:sagemaker:us-west-2:123456789012:mlflow-app/mlflow-app-id \
  --region us-west-2

出力AuthorizedUrlからブラウザに をコピーします。

上記の署名付き URL を使用して MLflow UI を開きます。実験の実行に移動し、トレースタブを選択します。各トレースは、完了したロールアウトを 1 つ表し、以下を示します。

軌跡を使用して低報酬スコアをデバッグする

トレーニング結果の取得

トレーニングジョブが完了すると、トレーニングされたモデルの重みは SageMaker AI モデルパッケージとして保存されます。このセクションでは、結果を検索し、トレーニング中に生成されたチェックポイントタイプを理解し、デプロイまたは継続的なトレーニングに使用する方法について説明します。

結果の保存方法

SageMaker AI は、トレーニング出力をバージョン管理されたイミュータブルなモデルパッケージとしてモデルパッケージグループ内に保存します。マルチターン RL は、ジョブの作成時に指定する 2 つの個別のグループを使用します。

ModelPackageConfig で両方のグループを設定します。

"ModelPackageConfig": {
  "OutputModelPackageGroupArn": "arn:aws:sagemaker:us-west-2:123456789012:model-package-group/my-final-models",
  "IntermediateCheckpointModelPackageGroupArn": "arn:aws:sagemaker:us-west-2:123456789012:model-package-group/my-intermediate-checkpoints"
}

チェックポイントタイプ

トレーニングでは、トレーニングステップごとに 2 種類のチェックポイントが生成されます。

モデルチェックポイント (重みのみ)

再開可能なチェックポイント (フル状態)

チェックポイントのライフサイクル

Step 1 → Intermediate Checkpoint (resumable)
Step 1 → Intermediate Checkpoint (HF-compatible)
...
Step N-1 → Intermediate Checkpoint (resumable)
Step N-1 → Intermediate Checkpoint (HF-compatible)
...
Step N (final) → Model Checkpoint (HuggingFace LoRA) → Output Model Package Group

トレーニング済みモデルを取得する

ジョブが正常に完了すると、最終モデルはモデルパッケージとして出力モデルパッケージグループに保存されます。ジョブレコードの OutputModelPackageArnフィールドには ARN が含まれています。

ジョブの完了を確認し、出力モデル ARN を取得します。

aws sagemaker describe-job \
--job-name "my-agent-rft-job" \
--job-category AgentRFT \
--region us-west-2

レスポンスOutputModelPackageArnで を探します。これを使用してモデルパッケージを記述し、重みの S3 の場所を取得します。

aws sagemaker describe-model-package \
--model-package-name "arn:aws:sagemaker:us-west-2:123456789012:model-package/my-final-models/5"

ジョブが失敗するか、完了前に停止した場合、最後の中間チェックポイントはベストエフォートベースで出力モデルパッケージグループに昇格されます。OutputModelPackageArn 同じ方法を確認します。

トレーニング中にチェックポイントの作成をモニタリングするには、DescribeJob 出力の ResumableCheckpointおよび ModelCheckpointフィールドを監視します。 DescribeJob

中断されたジョブを再開する

トレーニング中にジョブが失敗または停止した場合、中断した正確なステップから取得する新しいジョブを開始できます。プラットフォームは、再開可能なチェックポイントから、重み、オプティマイザの勢い、ステップカウンターなど、完全なトレーニング状態を復元します。

中間チェックポイントモデルパッケージグループから再開可能なチェックポイントを として指定しますInputModelPackageArn。

"ModelPackageConfig": {
  "OutputModelPackageGroupArn": "arn:aws:sagemaker:us-west-2:123456789012:model-package-group/my-final-models",
  "IntermediateCheckpointModelPackageGroupArn": "arn:aws:sagemaker:us-west-2:123456789012:model-package-group/my-intermediate-checkpoints",
  "InputModelPackageArn": "arn:aws:sagemaker:us-west-2:123456789012:model-package/my-intermediate-checkpoints/5"
}

は、再開可能なチェックポイント (モデルパッケージメタデータIsCheckpoint=true内の を持つチェックポイント) を指すInputModelPackageArn必要があります。トレーニングはチェックポイントの後のステップから再開します。例えば、チェックポイントがステップ 4 で保存された場合、トレーニングはステップ 5 から続行されます。

次の内容は、元のジョブと再開されたジョブで同じである必要があります。

新しいジョブでトレーニングを継続する (反復トレーニング)

反復トレーニングを使用すると、異なるデータセット、異なるハイパーパラメータ、または洗練された報酬関数を使用して、以前にトレーニングしたモデルを構築できます。再開とは異なり、これにより新しいトレーニング実行が開始されます。オプティマイザがリセットされ、ステップカウンターが 0 にリセットされ、トレーニングされた LoRA ウェイトのみが引き継がれます。

出力モデルパッケージグループからモデルチェックポイントを として指定しますInputModelPackageArn。

"ModelPackageConfig": {
  "OutputModelPackageGroupArn": "arn:aws:sagemaker:us-west-2:123456789012:model-package-group/my-final-models",
  "IntermediateCheckpointModelPackageGroupArn": "arn:aws:sagemaker:us-west-2:123456789012:model-package-group/my-intermediate-checkpoints",
  "InputModelPackageArn": "arn:aws:sagemaker:us-west-2:123456789012:model-package/my-final-models/3"
}

イテレーション間で変更できること:

同じままにする必要があるもの:

反復トレーニングの一般的なパターン:

チェックポイントのベストプラクティス