Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pengajuan pekerjaan pelatihan

Peluncuran Pekerjaan Pelatihan

Setelah agen Anda digunakan dan kumpulan data Anda ada di S3, buat pekerjaan pelatihan menggunakan salah satu metode berikut.

SageMaker Studio AI

SageMaker SDK Python AI

Temukan model yang didukung

from sagemaker.train.multi_turn_rl_trainer import MultiTurnRLTrainer

supported_models = MultiTurnRLTrainer.list_supported_models()
print(f"Supported MTRL models ({len(supported_models)}):")
for m in supported_models:
    print(f"  - {m}")

Siapkan lingkungan agen Anda

Opsi 1: runtime batuan dasar AgentCore

# List available runtimes
runtimes = MultiTurnRLTrainer.list_bedrock_agentcore_runtimes()
for rt in runtimes:
    print(f"  - {rt['name']} ({rt['status']}) → {rt['arn']}")

Opsi 2: Agen Lambda Kustom

from sagemaker.train.agent_lambda import AgentLambda

# Create from inline code
adapter = AgentLambda.create(
    source='''
import json
def handler(event, context):
    prompt = event.get("prompt", "")
    return {"statusCode": 200, "body": json.dumps({"status": "ok", "agentResponse": prompt})}
''',
    role="arn:aws:iam::123456789012:role/AgentLambdaRole",
)

# Create from a local file
adapter = AgentLambda.create(
    source="~/my_agent_handler.py",
    role="arn:aws:iam::123456789012:role/AgentLambdaRole",
)

# Create from S3
adapter = AgentLambda.create(
    source="s3://my-bucket/agent_handler.py",
    role="arn:aws:iam::123456789012:role/AgentLambdaRole",
)

# Wrap an existing Lambda
adapter = AgentLambda.get("arn:aws:lambda:us-west-2:123456789012:function:my-agent")

Daftarkan dataset Anda (opsional)

from sagemaker.ai_registry.dataset import DataSet

dataset = DataSet.create(
    name="my-mtrl-dataset",
    source="s3://my-bucket/prompts/training_prompts.parquet"
)
print(f"Dataset ARN: {dataset.arn}")

Buat Grup Paket Model Terbatas untuk Nova (opsional)

Jika Anda memilih Nova model (nova-textgeneration-lite-v2), maka secara opsional buat Grup Paket Model Terbatas sebelum mengirimkan pekerjaan pelatihan (langkah selanjutnya). Jika Anda melewati langkah ini, SDK secara otomatis membuatnya untuk Anda.

Restricted Model Package Group (RMPG) adalah Model Package Group dengan ManagedStorageType: Restricted. Ini diperlukan untuk model sumber tertutup seperti Nova di mana bobot model dikelola oleh AWS dan tidak dapat diakses secara langsung oleh pelanggan.

Skema pekerjaan RFT membutuhkan dua MPG Terbatas terpisah:

from sagemaker.core.resources import Job, ModelPackageGroup
from sagemaker.core.shapes import ManagedConfiguration

model_name = "nova-textgeneration-lite-v2"

# Restricted configuration
managed_config = ManagedConfiguration(managed_storage_type="Restricted")

# Output Model package group
output_mpg_name = f"{model_name}-mtrl-output-mpg"
create_kwargs = {
    "model_package_group_name": output_mpg_name,
    "region": "us-east-1",
    "managed_configuration": managed_config
}
output_mpg = ModelPackageGroup.create(**create_kwargs)

# Intermediate Model package group
intermediate_mpg_name = f"{model_name}-mtrl-inter-mpg"
create_kwargs = {
    "model_package_group_name": intermediate_mpg_name,
    "region": "us-east-1",
    "managed_configuration": managed_config
}
intermediate_mpg = ModelPackageGroup.create(**create_kwargs)

Setelah grup paket Model dibuat, lewati grup pada langkah berikutnya saat mengirimkan pekerjaan pelatihan.

Kirim pekerjaan pelatihan dengan Bedrock AgentCore

from sagemaker.train.multi_turn_rl_trainer import MultiTurnRLTrainer

trainer = MultiTurnRLTrainer(
    model="openai-reasoning-gpt-oss-20b",
    agent_env="arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent-runtime",
    training_dataset="s3://my-bucket/prompts/prompts.parquet",
    mlflow_app_arn="arn:aws:sagemaker:us-west-2:123456789012:mlflow-app/mlflow-app-id",
    s3_output_path="s3://my-bucket/output/",
    role="arn:aws:iam::123456789012:role/SageMakerRole",
    accept_eula=True,
)

# View and adjust hyperparameters
trainer.hyperparameters.get_info()
trainer.hyperparameters.max_epochs = 1
trainer.hyperparameters.global_batch_size = 32
trainer.hyperparameters.max_steps = 12

job = trainer.train(wait=True)
print(f"Job: {job.job_name}")
print(f"Status: {job.job_status}")
print(f"Output Model Package: {job.output_model_package_arn}")

Kirim pekerjaan pelatihan dengan agen Lambda khusus

trainer = MultiTurnRLTrainer(
    model="openai-reasoning-gpt-oss-20b",
    agent_env=adapter,  # AgentLambda object or Lambda ARN string
    training_dataset="s3://my-bucket/prompts/prompts.parquet",
    mlflow_app_arn="arn:aws:sagemaker:us-west-2:123456789012:mlflow-app/mlflow-app-id",
    s3_output_path="s3://my-bucket/output/",
    role="arn:aws:iam::123456789012:role/SageMakerRole",
    accept_eula=True,
)

trainer.hyperparameters.max_epochs = 1
trainer.hyperparameters.global_batch_size = 32
trainer.hyperparameters.max_steps = 12

job = trainer.train(wait=True)
print(f"Job: {job.job_name}")
print(f"Status: {job.job_status}")
print(f"Output Model Package: {job.output_model_package_arn}")

Kirim pekerjaan pelatihan dengan grup paket Model Terbatas untuk Nova

Lihat langkah di atas (Create Restricted Model Package Group for Nova) tentang cara membuat grup Restricted Model Package.

from sagemaker.train.multi_turn_rl_trainer import MultiTurnRLTrainer

trainer = MultiTurnRLTrainer(
    model="nova-textgeneration-lite-v2",
    agent_env="arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent-runtime",
    training_dataset="s3://my-bucket/prompts/prompts.parquet",
    mlflow_app_arn="arn:aws:sagemaker:us-west-2:123456789012:mlflow-app/mlflow-app-id",
    s3_output_path="s3://my-bucket/output/",
    role="arn:aws:iam::123456789012:role/SageMakerRole",
    accept_eula=True,
    output_model_package_group=output_mpg,
    intermediate_checkpoint_model_package_group=intermediate_mpg
)

# View and adjust hyperparameters
trainer.hyperparameters.get_info()
trainer.hyperparameters.max_epochs = 1
trainer.hyperparameters.global_batch_size = 32
trainer.hyperparameters.max_steps = 12

job = trainer.train(wait=True)
print(f"Job: {job.job_name}")
print(f"Status: {job.job_status}")
print(f"Output Model Package: {job.output_model_package_arn}")

AWS CLI

Buat pekerjaan pelatihan menggunakan CreateJob API. Anda menentukan konfigurasi agen, lokasi data pelatihan, model dasar, dan pengaturan output diJobConfigDocument.

Untuk mengambil JobConfigDocument skema lengkap:

aws sagemaker list-job-schema-versions --job-category AgentRFT
aws sagemaker describe-job-schema-version --job-category AgentRFT --version "1.0.0"

Buat pekerjaan dengan Bedrock AgentCore

aws sagemaker create-job \
  --job-category AgentRFT \
  --job-name "my-agent-rft-job" \
  --role-arn "arn:aws:iam::123456789012:role/SageMakerFineTuningJobRole" \
  --job-config-schema-version "1.0.0" \
  --job-config-document '{
    "AgentConfig": {
      "BedrockAgentCoreConfig": {
        "AgentRuntimeArn": "arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent"
      }
    },
    "InputDataConfig": [...],
    "OutputDataConfig": {...},
    "ModelPackageConfig": {...},
    "TrainingConfig": {...}
  }' \
  --region us-west-2

Buat pekerjaan dengan agen Lambda khusus

aws sagemaker create-job \
  --job-category AgentRFT \
  --job-name "my-custom-agent-rft-job" \
  --role-arn "arn:aws:iam::account-id:role/SageMakerFineTuningJobRole" \
  --job-config-schema-version "1.0.0" \
  --job-config-document '{
    "AgentConfig": {
      "CustomAgentLambdaConfig": {
        "LambdaArn": "arn:aws:lambda:us-west-2:account-id:function:rft-agent-forwarder"
      }
    },
    "InputDataConfig": [...],
    "OutputDataConfig": {...},
    "ModelPackageConfig": {...},
    "TrainingConfig": {...}
  }' \
  --region us-west-2

boto3

Buat pekerjaan dengan Bedrock AgentCore

import json
import boto3

sm = boto3.client("sagemaker")

response = sm.create_job(
    JobName="my-agent-rft-job",
    RoleArn="arn:aws:iam::123456789012:role/SageMakerFineTuningJobRole",
    JobCategory="AgentRFT",
    JobConfigSchemaVersion="1.0.0",
    JobConfigDocument=json.dumps({
        "AgentConfig": {
            "BedrockAgentCoreConfig": {
                "AgentRuntimeArn": "arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent"
            }
        },
        "InputDataConfig": [...],
        "OutputDataConfig": {...},
        "ModelPackageConfig": {...},
        "TrainingConfig": {...}
    })
)

print(f"Job ARN: {response['JobArn']}")

Buat pekerjaan dengan agen Lambda khusus

import json
import boto3

sm = boto3.client("sagemaker")

response = sm.create_job(
    JobName="my-custom-agent-rft-job",
    RoleArn="arn:aws:iam::account-id:role/SageMakerFineTuningJobRole",
    JobCategory="AgentRFT",
    JobConfigSchemaVersion="1.0.0",
    JobConfigDocument=json.dumps({
        "AgentConfig": {
            "CustomAgentLambdaConfig": {
                "LambdaArn": "arn:aws:lambda:us-west-2:account-id:function:rft-agent-forwarder"
            }
        },
        "InputDataConfig": [...],
        "OutputDataConfig": {...},
        "ModelPackageConfig": {...},
        "TrainingConfig": {...}
    })
)

print(f"Job ARN: {response['JobArn']}")

Pelatihan Pemantauan

Pantau Training Job Anda

Gunakan DescribeJob API untuk memeriksa status pekerjaan Anda saat ini kapan saja. Transisi status pekerjaan melaluiInProgress, dan kemudian keCompleted, Failed atauStopped.

aws sagemaker describe-job \
  --job-name "my-agent-rft-job" \
  --job-category AgentRFT \
  --region us-west-2

Gunakan SDK:

# Run without blocking
job = trainer.train(wait=False)
job.wait(poll=5, timeout=3000, max_log_lines=10)
# Check status
job.refresh()
print(f"Status: {job.job_status}")
print(f"Secondary Status: {job.secondary_status}")
print(f"Output Model Package: {job.output_model_package_arn}")
print(f"MLflow Details: {job.mlflow_details}")
print(f"Billable Tokens: {job.billable_token_usage}")
# Open MLflow tracking URL
job.get_mlflow_url()
# Stop a running job
job.stop()
# Attach to an existing job from a different session
existing_job = MultiTurnRLTrainer.attach(job_name="my-existing-job-name")
print(f"Status: {existing_job.job_status}")
print(f"Output Model: {existing_job.output_model_package_arn}")
# List all completed jobs
from sagemaker.train.agent_rft_job import AgentRFTJob
for j in AgentRFTJob.get_all(status_equals="Completed"):
    print(f"{j.job_name}: {j.job_status}")

Memantau Pelatihan di MLFlow

SageMaker AI secara otomatis terintegrasi dengan MLFlow terkelola untuk melacak kemajuan, metrik, dan artefak pekerjaan pelatihan Anda. Untuk mengaktifkan pelacakan MLFlow, sertakan MlflowConfig dalam pekerjaan Anda: OutputDataConfig

"OutputDataConfig": {
    "S3OutputPath": "s3://your-bucket/output/",
    "MlflowConfig": {
        "MlflowResourceArn": "arn:aws:sagemaker:us-west-2:123456789012:mlflow-app/my-rft-mlflow-app"
    }
}

Prasyarat

Apa yang akan dicatat

Referensi metrik pelatihan terperinci

Metrik berikut dicatat pada setiap langkah pelatihan.

Penghitung langkah dan throughput () training/

Durasi fase () timing_s/

Distribusi hadiah (rollout/reward/)

Putar hitungan () rollout/turns/

Panjang token () rollout/tokens/

Log-probability kesehatan (rollout/logprob/)

Distribusi keuntungan (rollout/advantage/)

Batch-quality klasifikasi (analysis/)

Hadiah evaluasi dan lulus @k (val/reward/)

Dipancarkan pada baseline (langkah 0), pada setiap val_every interval, dan pada langkah terakhir. Termasuk metrik distribusi yang sama dengan rollout/reward ditambah metrik reward grup yang dikumpulkan berdasarkan prompt.

Distribusi:

Group-reward (agregasi per prompt):

Lulus @k dan akuntansi sukses:

Jumlah giliran evaluasi () val/turns/

Panjang token evaluasi () val/tokens/

Evaluasi log-probabilitas kesehatan () val/logprob/

Mengakses UI MLFlow

Akses UI MLFlow melalui URL yang telah ditetapkan sebelumnya:

aws sagemaker create-presigned-mlflow-app-url \
  --arn arn:aws:sagemaker:us-west-2:123456789012:mlflow-app/mlflow-app-id \
  --region us-west-2

Salin AuthorizedUrl dari output ke browser Anda.

Lintasan dan jejak agen

Selama pelatihan, SageMaker AI mencatat setiap interaksi antara agen Anda dan model kebijakan sebagai lintasan - catatan lengkap dari satu peluncuran. Setiap lintasan menangkap setiap prompt yang dikirim ke model, setiap respons yang dihasilkan, setiap panggilan alat yang dilakukan, dan hadiah akhir. Lintasan dipublikasikan ke eksperimen MLFlow Anda sebagai jejak terstruktur.

Melacak konten

Melihat lintasan di UI MLFlow

Akses UI MLFlow melalui URL yang telah ditetapkan sebelumnya:

aws sagemaker create-presigned-mlflow-app-url \
  --arn arn:aws:sagemaker:us-west-2:123456789012:mlflow-app/mlflow-app-id \
  --region us-west-2

Salin AuthorizedUrl dari output ke browser Anda.

Buka UI MLFlow menggunakan URL presigned di atas. Arahkan ke proses eksperimen Anda dan pilih tab Jejak. Setiap jejak mewakili satu peluncuran yang telah selesai dan menunjukkan:

Gunakan lintasan untuk men-debug skor hadiah rendah

Dapatkan Hasil Pelatihan

Saat pekerjaan pelatihan selesai, bobot model terlatih Anda disimpan sebagai Paket Model SageMaker AI. Bagian ini menjelaskan cara menemukan hasil Anda, memahami jenis pos pemeriksaan yang dihasilkan selama pelatihan, dan menggunakannya untuk penerapan atau pelatihan lanjutan.

Bagaimana hasil disimpan

SageMaker AI menyimpan output pelatihan sebagai Paket Model berversi dan tidak dapat diubah di dalam Grup Paket Model. Multi-turn RL menggunakan dua grup terpisah, yang Anda tentukan saat membuat pekerjaan:

Konfigurasikan kedua grup di ModelPackageConfig:

"ModelPackageConfig": {
  "OutputModelPackageGroupArn": "arn:aws:sagemaker:us-west-2:123456789012:model-package-group/my-final-models",
  "IntermediateCheckpointModelPackageGroupArn": "arn:aws:sagemaker:us-west-2:123456789012:model-package-group/my-intermediate-checkpoints"
}

Jenis pos pemeriksaan

Pelatihan menghasilkan dua jenis pos pemeriksaan, disimpan di setiap langkah pelatihan:

Pos pemeriksaan model (hanya bobot)

Pos pemeriksaan yang dapat dilanjutkan (status penuh)

Siklus hidup pos pemeriksaan

Step 1 → Intermediate Checkpoint (resumable)
Step 1 → Intermediate Checkpoint (HF-compatible)
...
Step N-1 → Intermediate Checkpoint (resumable)
Step N-1 → Intermediate Checkpoint (HF-compatible)
...
Step N (final) → Model Checkpoint (HuggingFace LoRA) → Output Model Package Group

Ambil model terlatih Anda

Ketika pekerjaan selesai dengan sukses, model akhir disimpan sebagai Model Package di Output Model Package Group. OutputModelPackageArnBidang pada catatan pekerjaan berisi ARN.

Periksa penyelesaian pekerjaan dan ambil model keluaran ARN:

aws sagemaker describe-job \
--job-name "my-agent-rft-job" \
--job-category AgentRFT \
--region us-west-2

Cari OutputModelPackageArn dalam tanggapannya. Gunakan untuk mendeskripsikan Model Package dan dapatkan lokasi S3 dari bobot:

aws sagemaker describe-model-package \
--model-package-name "arn:aws:sagemaker:us-west-2:123456789012:model-package/my-final-models/5"

Jika pekerjaan gagal atau dihentikan sebelum selesai, pos pemeriksaan perantara terakhir dipromosikan ke Output Model Package Group berdasarkan upaya terbaik. Periksa OutputModelPackageArn dengan cara yang sama.

Untuk memantau pembuatan pos pemeriksaan selama pelatihan, perhatikan ResumableCheckpoint dan ModelCheckpoint bidang dalam DescribeJob output.

Lanjutkan pekerjaan yang terputus

Jika suatu pekerjaan gagal atau dihentikan di tengah pelatihan, Anda dapat memulai pekerjaan baru yang diambil dari langkah yang tepat di mana ia tinggalkan. Platform ini mengembalikan status pelatihan penuh — bobot, momentum pengoptimal, dan penghitung langkah — dari pos pemeriksaan yang dapat dilanjutkan.

Tentukan pos pemeriksaan yang dapat dilanjutkan dari Grup Paket Model Checkpoint Menengah sebagai: InputModelPackageArn

"ModelPackageConfig": {
  "OutputModelPackageGroupArn": "arn:aws:sagemaker:us-west-2:123456789012:model-package-group/my-final-models",
  "IntermediateCheckpointModelPackageGroupArn": "arn:aws:sagemaker:us-west-2:123456789012:model-package-group/my-intermediate-checkpoints",
  "InputModelPackageArn": "arn:aws:sagemaker:us-west-2:123456789012:model-package/my-intermediate-checkpoints/5"
}

InputModelPackageArnHarus menunjuk ke pos pemeriksaan yang dapat dilanjutkan (satu dengan IsCheckpoint=true metadata Model Package). Pelatihan dilanjutkan dari langkah setelah pos pemeriksaan - misalnya, jika pos pemeriksaan disimpan pada langkah 4, pelatihan berlanjut dari langkah 5.

Berikut ini harus tetap sama antara pekerjaan asli dan pekerjaan yang dilanjutkan:

Lanjutkan pelatihan pada pekerjaan baru (pelatihan berulang)

Pelatihan berulang memungkinkan Anda membangun model yang dilatih sebelumnya dengan kumpulan data yang berbeda, hiperparameter yang berbeda, atau fungsi hadiah yang disempurnakan. Tidak seperti melanjutkan, ini memulai latihan baru — pengoptimal mengatur ulang, penghitung langkah disetel ulang ke 0, dan hanya bobot LoRa yang terlatih yang terbawa.

Tentukan pos pemeriksaan model dari Output Model Package Group sebagaiInputModelPackageArn:

"ModelPackageConfig": {
  "OutputModelPackageGroupArn": "arn:aws:sagemaker:us-west-2:123456789012:model-package-group/my-final-models",
  "IntermediateCheckpointModelPackageGroupArn": "arn:aws:sagemaker:us-west-2:123456789012:model-package-group/my-intermediate-checkpoints",
  "InputModelPackageArn": "arn:aws:sagemaker:us-west-2:123456789012:model-package/my-final-models/3"
}

Apa yang dapat Anda ubah di antara iterasi:

Apa yang harus tetap sama:

Pola umum untuk pelatihan berulang:

Praktik terbaik pos pemeriksaan