View a markdown version of this page

Memantau Kemajuan di Seluruh Iterasi - Amazon Nova
Kustomisasi Nova - Pengaturan MLFlow untuk SageMaker HyperPodMembuat aplikasi MLFlowAkses aplikasi MLFlowMetrik utama untuk dilacakMenentukan kapan harus berhenti

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memantau Kemajuan di Seluruh Iterasi

Anda dapat melacak metrik melalui MLFlow.

Kustomisasi Nova - Pengaturan MLFlow untuk SageMaker HyperPod

Untuk mengaktifkan SageMaker HyperPod lingkungan Anda untuk menampilkan metrik ke MLFlow, Anda perlu melakukan beberapa pengaturan tambahan.

  1. Buka Situs Amazon SageMaker AI

  2. Pilih SageMaker Studio

    1. Jika ada profil yang sudah dibuat, pilih “Open Studio”.

    2. Jika tidak ada profil yang dibuat, pilih “Buat SageMaker Domain” untuk mengaturnya

  3. Pilih MLFlow. Jika tidak ada Aplikasi MLFlow yang dibuat, pilih “Buat Aplikasi MLFlow”

  4. Klik pada copy/paste tombol atau item menu “Lihat Detail” pada Aplikasi ML Flow untuk mendapatkan ARN. Anda akan membutuhkan ini ketika Anda mengirimkan pekerjaan pelatihan Anda.

    Tombol Lihat Detail pada Aplikasi ML Flow, dengan ARN.

  5. Pada peran eksekusi HyperPod cluster, tambahkan kebijakan berikut. Ini akan memungkinkan HyperPod cluster memanggil API MLFlow untuk menerbitkan metrik.


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "sagemaker-mlflow:*",
            "Resource": [
                "arn:aws:sagemaker:us-east-1:372836560492:mlflow-app/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "sagemaker:ListMlflowTrackingServers",
                "sagemaker:CallMlflowAppApi"
            ],
            "Resource": "*"
        }
    ]
}

Mengirimkan pekerjaan melalui CLI

Tentukan 4 parameter override baru, baik di baris perintah, atau di resep yaml.

  1. mlflow_tracking_uri: ARN dari Aplikasi MLFlow

  2. mlflow_experiment_name: Nama untuk menjalankan percobaan ini

  3. mlflow_experiment_name: Nama percobaan tempat metrik akan disimpan di MLFlow

  4. mlflow_run_name: Nama untuk percobaan ini

Baris perintah


--override-parameters '{"recipes.run.mlflow_tracking_uri": "arn:aws:sagemaker:us-east-1:925548216816:mlflow-app/app-B6XOUNCHQM4W", "recipes.run.mlflow_experiment_name": "myuser-sft-lora-exp1", "recipes.run.mlflow_run_name": "myuser-sft-lora-exp1-202512181940"}'

Label:


## Run config
run:
  mlflow_tracking_uri: "arn:aws:sagemaker:us-east-1:925548216816:mlflow-app/app-B6XOUNCHQM4W" 
  mlflow_experiment_name: "myuser-sft-lora-exp1"
  mlflow_run_name: "myuser-sft-lora-exp1-202512181940"

Mengirimkan pekerjaan melalui UI SageMaker Studio

Integrasi MLFlow sudah dibangun ke dalam pengalaman UI SageMaker Studio. Saat mengirimkan pekerjaan pelatihan, cukup tunjukkan instance Aplikasi MLFlow mana yang akan digunakan.

  1. Di SageMaker Studio, arahkan ke Model> Nova 2.0 Lite > Kustomisasi > Kustomisasi dengan UI.

  2. Perluas bagian Konfigurasi Lanjutan

  3. Pilih Aplikasi MLFlow tempat Anda ingin mengirim metrik pelatihan. Anda juga dapat mengatur nama eksperimen dan menjalankan eksperimen di sini.

Aplikasi ML Flow.

Mengirimkan pekerjaan melalui AWS CLI

Jika Anda menggunakan AWS CLI, Anda harus membuat aplikasi MLFlow dan meneruskannya sebagai masukan ke permintaan API pekerjaan pelatihan.

mlflow_app_name="<enter your MLflow app name>"
role_arn="<enter your role ARN>"
bucket_name="<enter your bucket name>"
region="<enter your region>"

mlflow_app_arn=$(aws sagemaker create-mlflow-app \
  --name $mlflow_app_name \
  --artifact-store-uri "s3://$bucket_name" \
  --role-arn $role_arn \
  --region $region)

Membuat aplikasi MLFlow

Menggunakan UI Studio: Jika Anda membuat pekerjaan pelatihan melalui UI Studio, aplikasi MLFlow default dibuat secara otomatis dan dipilih secara default di bawah Opsi Lanjutan.

Menggunakan CLI: Jika Anda menggunakan CLI, Anda harus membuat aplikasi MLFlow dan meneruskannya sebagai masukan ke permintaan API pekerjaan pelatihan.

mlflow_app_name="<enter your MLflow app name>"
role_arn="<enter your role ARN>" 
bucket_name="<enter your bucket name>" 
region="<enter your region>"

mlflow_app_arn=$(aws sagemaker create-mlflow-app \
  --name $mlflow_app_name \
  --artifact-store-uri "s3://$bucket_name" \
  --role-arn $role_arn \
  --region $region)

Akses aplikasi MLFlow

Menggunakan CLI: Buat URL yang telah ditandatangani sebelumnya untuk mengakses UI aplikasi MLFlow:

aws sagemaker create-presigned-mlflow-app-url \
  --arn $mlflow_app_arn \
  --region $region \
  --output text

Menggunakan UI Studio: UI Studio menampilkan metrik utama yang disimpan di MLFlow dan menyediakan tautan ke UI aplikasi MLFlow.

Metrik utama untuk dilacak

Pantau metrik ini di seluruh iterasi untuk menilai peningkatan dan melacak kemajuan pekerjaan:

Untuk SFT

  • Kurva kerugian pelatihan

  • Jumlah sampel yang dikonsumsi dan waktu untuk memproses sampel

  • Akurasi kinerja pada set uji yang disimpan

  • Kepatuhan format (misalnya, tingkat keluaran JSON yang valid)

  • Kebingungan pada data evaluasi khusus domain

Untuk RFT

  • Skor hadiah rata-rata selama pelatihan

  • Distribusi hadiah (persentase tanggapan hadiah tinggi)

  • Tren hadiah validasi (perhatikan apakah terlalu pas)

  • Task-specific tingkat keberhasilan (misalnya, tingkat kelulusan eksekusi kode, akurasi masalah matematika)

Umum

  • Tolok ukur kinerja delta antar iterasi

  • Skor evaluasi manusia pada sampel yang representatif

  • Metrik produksi (jika menerapkan secara berulang)

Menentukan kapan harus berhenti

Berhenti mengulangi saat:

  • Dataran tinggi kinerja: Pelatihan tambahan tidak lagi secara berarti meningkatkan metrik target

  • Peralihan teknik membantu: Jika satu teknik dataran tinggi, coba beralih (misalnya, SFT → RFT → SFT) untuk menembus langit-langit kinerja

  • Metrik target tercapai: Kriteria keberhasilan Anda terpenuhi

  • Regresi terdeteksi: Iterasi baru menurunkan kinerja (lihat prosedur rollback di bawah)

Untuk prosedur evaluasi terperinci, lihat bagian Evaluasi.