本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

訓練任務提交

啟動訓練任務

部署代理程式且資料集位於 S3 之後，請使用下列其中一種方法建立訓練任務。

SageMaker AI Studio

SageMaker AI Python SDK

探索支援的模型

from sagemaker.train.multi_turn_rl_trainer import MultiTurnRLTrainer

supported_models = MultiTurnRLTrainer.list_supported_models()
print(f"Supported MTRL models ({len(supported_models)}):")
for m in supported_models:
    print(f"  - {m}")

設定您的代理程式環境

選項 1：Bedrock AgentCore 執行時間

# List available runtimes
runtimes = MultiTurnRLTrainer.list_bedrock_agentcore_runtimes()
for rt in runtimes:
    print(f"  - {rt['name']} ({rt['status']}) → {rt['arn']}")

選項 2：自訂 Lambda 代理程式

from sagemaker.train.agent_lambda import AgentLambda

# Create from inline code
adapter = AgentLambda.create(
    source='''
import json
def handler(event, context):
    prompt = event.get("prompt", "")
    return {"statusCode": 200, "body": json.dumps({"status": "ok", "agentResponse": prompt})}
''',
    role="arn:aws:iam::123456789012:role/AgentLambdaRole",
)

# Create from a local file
adapter = AgentLambda.create(
    source="~/my_agent_handler.py",
    role="arn:aws:iam::123456789012:role/AgentLambdaRole",
)

# Create from S3
adapter = AgentLambda.create(
    source="s3://my-bucket/agent_handler.py",
    role="arn:aws:iam::123456789012:role/AgentLambdaRole",
)

# Wrap an existing Lambda
adapter = AgentLambda.get("arn:aws:lambda:us-west-2:123456789012:function:my-agent")

註冊您的資料集 （選用）

from sagemaker.ai_registry.dataset import DataSet

dataset = DataSet.create(
    name="my-mtrl-dataset",
    source="s3://my-bucket/prompts/training_prompts.parquet"
)
print(f"Dataset ARN: {dataset.arn}")

為 Nova 建立受限制的模型套件群組 （選用）

如果您選擇的是 Nova 模型 (nova-textgeneration-lite-v2)，則選擇性地在提交訓練任務 （下一個步驟） 之前建立受限制模型套件群組。如果您略過此步驟，軟體開發套件會自動為您建立一個。

受限模型套件群組 (RMPG) 是具有 ManagedStorageType： Restricted 的模型套件群組。這是 Nova 等封閉來源模型的必要項目，其中模型權重由 管理 AWS ，且無法直接供客戶存取。

RFT 任務結構描述需要兩個單獨的受限 MPGs：

from sagemaker.core.resources import Job, ModelPackageGroup
from sagemaker.core.shapes import ManagedConfiguration

model_name = "nova-textgeneration-lite-v2"

# Restricted configuration
managed_config = ManagedConfiguration(managed_storage_type="Restricted")

# Output Model package group
output_mpg_name = f"{model_name}-mtrl-output-mpg"
create_kwargs = {
    "model_package_group_name": output_mpg_name,
    "region": "us-east-1",
    "managed_configuration": managed_config
}
output_mpg = ModelPackageGroup.create(**create_kwargs)

# Intermediate Model package group
intermediate_mpg_name = f"{model_name}-mtrl-inter-mpg"
create_kwargs = {
    "model_package_group_name": intermediate_mpg_name,
    "region": "us-east-1",
    "managed_configuration": managed_config
}
intermediate_mpg = ModelPackageGroup.create(**create_kwargs)

建立模型套件群組後，在提交訓練任務時，在下一個步驟中傳遞群組。

使用 Bedrock AgentCore 提交訓練任務

from sagemaker.train.multi_turn_rl_trainer import MultiTurnRLTrainer

trainer = MultiTurnRLTrainer(
    model="openai-reasoning-gpt-oss-20b",
    agent_env="arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent-runtime",
    training_dataset="s3://my-bucket/prompts/prompts.parquet",
    mlflow_app_arn="arn:aws:sagemaker:us-west-2:123456789012:mlflow-app/mlflow-app-id",
    s3_output_path="s3://my-bucket/output/",
    role="arn:aws:iam::123456789012:role/SageMakerRole",
    accept_eula=True,
)

# View and adjust hyperparameters
trainer.hyperparameters.get_info()
trainer.hyperparameters.max_epochs = 1
trainer.hyperparameters.global_batch_size = 32
trainer.hyperparameters.max_steps = 12

job = trainer.train(wait=True)
print(f"Job: {job.job_name}")
print(f"Status: {job.job_status}")
print(f"Output Model Package: {job.output_model_package_arn}")

使用自訂 Lambda 代理程式提交訓練任務

trainer = MultiTurnRLTrainer(
    model="openai-reasoning-gpt-oss-20b",
    agent_env=adapter,  # AgentLambda object or Lambda ARN string
    training_dataset="s3://my-bucket/prompts/prompts.parquet",
    mlflow_app_arn="arn:aws:sagemaker:us-west-2:123456789012:mlflow-app/mlflow-app-id",
    s3_output_path="s3://my-bucket/output/",
    role="arn:aws:iam::123456789012:role/SageMakerRole",
    accept_eula=True,
)

trainer.hyperparameters.max_epochs = 1
trainer.hyperparameters.global_batch_size = 32
trainer.hyperparameters.max_steps = 12

job = trainer.train(wait=True)
print(f"Job: {job.job_name}")
print(f"Status: {job.job_status}")
print(f"Output Model Package: {job.output_model_package_arn}")

使用 Nova 的限制模型套件群組提交訓練任務

請參閱上述步驟 （為 Nova 建立受限制模型套件群組），了解如何建立受限制模型套件群組。

from sagemaker.train.multi_turn_rl_trainer import MultiTurnRLTrainer

trainer = MultiTurnRLTrainer(
    model="nova-textgeneration-lite-v2",
    agent_env="arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent-runtime",
    training_dataset="s3://my-bucket/prompts/prompts.parquet",
    mlflow_app_arn="arn:aws:sagemaker:us-west-2:123456789012:mlflow-app/mlflow-app-id",
    s3_output_path="s3://my-bucket/output/",
    role="arn:aws:iam::123456789012:role/SageMakerRole",
    accept_eula=True,
    output_model_package_group=output_mpg,
    intermediate_checkpoint_model_package_group=intermediate_mpg
)

# View and adjust hyperparameters
trainer.hyperparameters.get_info()
trainer.hyperparameters.max_epochs = 1
trainer.hyperparameters.global_batch_size = 32
trainer.hyperparameters.max_steps = 12

job = trainer.train(wait=True)
print(f"Job: {job.job_name}")
print(f"Status: {job.job_status}")
print(f"Output Model Package: {job.output_model_package_arn}")

AWS CLI

使用 CreateJob API 建立訓練任務。您可以在 中指定代理程式組態、訓練資料位置、基本模型和輸出設定JobConfigDocument。

若要擷取完整的 JobConfigDocument 結構描述：

aws sagemaker list-job-schema-versions --job-category AgentRFT
aws sagemaker describe-job-schema-version --job-category AgentRFT --version "1.0.0"

使用 Bedrock AgentCore 建立任務

aws sagemaker create-job \
  --job-category AgentRFT \
  --job-name "my-agent-rft-job" \
  --role-arn "arn:aws:iam::123456789012:role/SageMakerFineTuningJobRole" \
  --job-config-schema-version "1.0.0" \
  --job-config-document '{
    "AgentConfig": {
      "BedrockAgentCoreConfig": {
        "AgentRuntimeArn": "arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent"
      }
    },
    "InputDataConfig": [...],
    "OutputDataConfig": {...},
    "ModelPackageConfig": {...},
    "TrainingConfig": {...}
  }' \
  --region us-west-2

使用自訂 Lambda 代理程式建立任務

aws sagemaker create-job \
  --job-category AgentRFT \
  --job-name "my-custom-agent-rft-job" \
  --role-arn "arn:aws:iam::account-id:role/SageMakerFineTuningJobRole" \
  --job-config-schema-version "1.0.0" \
  --job-config-document '{
    "AgentConfig": {
      "CustomAgentLambdaConfig": {
        "LambdaArn": "arn:aws:lambda:us-west-2:account-id:function:rft-agent-forwarder"
      }
    },
    "InputDataConfig": [...],
    "OutputDataConfig": {...},
    "ModelPackageConfig": {...},
    "TrainingConfig": {...}
  }' \
  --region us-west-2

boto3

使用 Bedrock AgentCore 建立任務

import json
import boto3

sm = boto3.client("sagemaker")

response = sm.create_job(
    JobName="my-agent-rft-job",
    RoleArn="arn:aws:iam::123456789012:role/SageMakerFineTuningJobRole",
    JobCategory="AgentRFT",
    JobConfigSchemaVersion="1.0.0",
    JobConfigDocument=json.dumps({
        "AgentConfig": {
            "BedrockAgentCoreConfig": {
                "AgentRuntimeArn": "arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent"
            }
        },
        "InputDataConfig": [...],
        "OutputDataConfig": {...},
        "ModelPackageConfig": {...},
        "TrainingConfig": {...}
    })
)

print(f"Job ARN: {response['JobArn']}")

使用自訂 Lambda 代理程式建立任務

import json
import boto3

sm = boto3.client("sagemaker")

response = sm.create_job(
    JobName="my-custom-agent-rft-job",
    RoleArn="arn:aws:iam::account-id:role/SageMakerFineTuningJobRole",
    JobCategory="AgentRFT",
    JobConfigSchemaVersion="1.0.0",
    JobConfigDocument=json.dumps({
        "AgentConfig": {
            "CustomAgentLambdaConfig": {
                "LambdaArn": "arn:aws:lambda:us-west-2:account-id:function:rft-agent-forwarder"
            }
        },
        "InputDataConfig": [...],
        "OutputDataConfig": {...},
        "ModelPackageConfig": {...},
        "TrainingConfig": {...}
    })
)

print(f"Job ARN: {response['JobArn']}")

監控訓練

監控您的訓練任務

使用 DescribeJob API 隨時檢查任務的目前狀態。任務狀態會透過 轉換InProgress，然後轉換至 Completed、 Failed或 Stopped。

aws sagemaker describe-job \
  --job-name "my-agent-rft-job" \
  --job-category AgentRFT \
  --region us-west-2

使用 SDK：

# Run without blocking
job = trainer.train(wait=False)
job.wait(poll=5, timeout=3000, max_log_lines=10)
# Check status
job.refresh()
print(f"Status: {job.job_status}")
print(f"Secondary Status: {job.secondary_status}")
print(f"Output Model Package: {job.output_model_package_arn}")
print(f"MLflow Details: {job.mlflow_details}")
print(f"Billable Tokens: {job.billable_token_usage}")
# Open MLflow tracking URL
job.get_mlflow_url()
# Stop a running job
job.stop()
# Attach to an existing job from a different session
existing_job = MultiTurnRLTrainer.attach(job_name="my-existing-job-name")
print(f"Status: {existing_job.job_status}")
print(f"Output Model: {existing_job.output_model_package_arn}")
# List all completed jobs
from sagemaker.train.agent_rft_job import AgentRFTJob
for j in AgentRFTJob.get_all(status_equals="Completed"):
    print(f"{j.job_name}: {j.job_status}")

在 MLflow 中監控訓練

SageMaker AI 會自動與受管 MLflow 整合，以追蹤訓練任務的進度、指標和成品。若要啟用 MLflow 追蹤，請在任務的 MlflowConfig中包含 OutputDataConfig：

"OutputDataConfig": {
    "S3OutputPath": "s3://your-bucket/output/",
    "MlflowConfig": {
        "MlflowResourceArn": "arn:aws:sagemaker:us-west-2:123456789012:mlflow-app/my-rft-mlflow-app"
    }
}

先決條件

記錄的內容

詳細訓練指標參考

每個訓練步驟都會記錄下列指標。

步驟計數器和輸送量 (training/)

階段持續時間 (timing_s/)

獎勵分佈 (rollout/reward/)

輪換計數 (rollout/turns/)

字符長度 (rollout/tokens/)

日誌機率運作狀態 (rollout/logprob/)

優勢分佈 (rollout/advantage/)

批次品質分類 (analysis/)

評估獎勵和 pass@k (val/reward/)

在基準 （步驟 0)、每個val_every間隔和最後一個步驟發出。包含與依提示彙總rollout/reward的群組獎勵指標相同的分佈指標。

分佈：

群組獎勵 （每次提示彙總）：

Pass@k 和成功會計：

評估周轉計數 (val/turns/)

評估字符長度 (val/tokens/)

評估日誌機率運作狀態 (val/logprob/)

存取 MLflow UI

透過預先簽章的 URL 存取 MLflow UI：

aws sagemaker create-presigned-mlflow-app-url \
  --arn arn:aws:sagemaker:us-west-2:123456789012:mlflow-app/mlflow-app-id \
  --region us-west-2

從輸出AuthorizedUrl將 複製到您的瀏覽器。

代理程式軌跡和追蹤

在訓練期間，SageMaker AI 會將您的代理程式和政策模型之間的每次互動記錄為軌跡 — 一個推展的完整記錄。每個軌跡會擷取傳送至模型的每個提示、產生的每個回應、所做的每個工具呼叫，以及最終獎勵。軌跡會以結構化追蹤形式發佈到您的 MLflow 實驗。

追蹤內容

在 MLflow UI 中檢視軌跡

透過預先簽章的 URL 存取 MLflow UI：

aws sagemaker create-presigned-mlflow-app-url \
  --arn arn:aws:sagemaker:us-west-2:123456789012:mlflow-app/mlflow-app-id \
  --region us-west-2

從輸出AuthorizedUrl將 複製到您的瀏覽器。

使用上面預先簽章的 URL 開啟 MLflow UI。導覽至實驗的執行，然後選取追蹤索引標籤。每個追蹤代表一個已完成的推展，並顯示：

使用軌跡來偵錯低獎勵分數

取得訓練結果

當訓練任務完成時，您訓練過的模型權重會儲存為 SageMaker AI 模型套件。本節說明如何尋找結果、了解訓練期間產生的檢查點類型，以及將其用於部署或持續訓練。

如何儲存結果

SageMaker AI 會將訓練輸出儲存為模型套件群組中的版本控制、不可變模型套件。多迴轉 RL 使用兩個不同的群組，您在建立任務時指定：

在 ModelPackageConfig 中設定兩個群組：

"ModelPackageConfig": {
  "OutputModelPackageGroupArn": "arn:aws:sagemaker:us-west-2:123456789012:model-package-group/my-final-models",
  "IntermediateCheckpointModelPackageGroupArn": "arn:aws:sagemaker:us-west-2:123456789012:model-package-group/my-intermediate-checkpoints"
}

檢查點類型

訓練會產生兩種檢查點類型，並在每個訓練步驟中儲存：

模型檢查點 （僅限權重）

可繼續檢查點 （完整狀態）

檢查點生命週期

Step 1 → Intermediate Checkpoint (resumable)
Step 1 → Intermediate Checkpoint (HF-compatible)
...
Step N-1 → Intermediate Checkpoint (resumable)
Step N-1 → Intermediate Checkpoint (HF-compatible)
...
Step N (final) → Model Checkpoint (HuggingFace LoRA) → Output Model Package Group

擷取已訓練的模型

當任務成功完成時，最終模型會儲存為輸出模型套件群組中的模型套件。任務記錄上的 OutputModelPackageArn 欄位包含 ARN。

檢查任務完成並擷取輸出模型 ARN：

aws sagemaker describe-job \
--job-name "my-agent-rft-job" \
--job-category AgentRFT \
--region us-west-2

在回應OutputModelPackageArn中尋找 。使用它來描述模型套件，並取得權重的 S3 位置：

aws sagemaker describe-model-package \
--model-package-name "arn:aws:sagemaker:us-west-2:123456789012:model-package/my-final-models/5"

如果任務在完成之前失敗或停止，則會盡力將最後一個中繼檢查點提升為輸出模型套件群組。檢查OutputModelPackageArn的方式相同。

若要在訓練期間監控檢查點建立，請監看 DescribeJob 輸出中的 ResumableCheckpoint和 ModelCheckpoint 欄位。

繼續中斷的任務

如果任務失敗或已在訓練中停止，您可以從停止的確切步驟開始新的任務。平台會從可繼續的檢查點還原完整訓練狀態：權重、最佳化工具動量和步進計數器。

從中繼檢查點模型套件群組將可恢復檢查點指定為 InputModelPackageArn：

"ModelPackageConfig": {
  "OutputModelPackageGroupArn": "arn:aws:sagemaker:us-west-2:123456789012:model-package-group/my-final-models",
  "IntermediateCheckpointModelPackageGroupArn": "arn:aws:sagemaker:us-west-2:123456789012:model-package-group/my-intermediate-checkpoints",
  "InputModelPackageArn": "arn:aws:sagemaker:us-west-2:123456789012:model-package/my-intermediate-checkpoints/5"
}

必須InputModelPackageArn指向可恢復的檢查點 （模型套件中繼資料IsCheckpoint=true中具有 的檢查點）。檢查點之後的步驟會繼續訓練，例如，如果檢查點是在步驟 4 儲存，則訓練會從步驟 5 繼續。

原始任務和繼續任務之間的下列項目必須保持不變：

繼續訓練新任務 （反覆訓練）

反覆訓練可讓您以先前訓練的模型為基礎，使用不同的資料集、不同的超參數或精細的獎勵函數。與繼續不同，這會啟動新的訓練執行：最佳化工具重設、步驟計數器重設為 0，而且只有訓練過的 LoRA 權重會轉移。

從輸出模型套件群組將模型檢查點指定為 InputModelPackageArn：

"ModelPackageConfig": {
  "OutputModelPackageGroupArn": "arn:aws:sagemaker:us-west-2:123456789012:model-package-group/my-final-models",
  "IntermediateCheckpointModelPackageGroupArn": "arn:aws:sagemaker:us-west-2:123456789012:model-package-group/my-intermediate-checkpoints",
  "InputModelPackageArn": "arn:aws:sagemaker:us-west-2:123456789012:model-package/my-final-models/3"
}

您可以在反覆運算之間變更的內容：

哪些項目必須保持不變：

反覆訓練的常見模式：

檢查點最佳實務