Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memulai

Kirim Pekerjaan Evaluasi Melalui SageMaker Studio

Langkah 1: Arahkan ke Evaluasi Dari Kartu Model Anda

Setelah Anda menyesuaikan model Anda, navigasikan ke halaman evaluasi dari kartu model Anda.

Untuk informasi tentang pelatihan model kustom bobot terbuka: https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-open-weight-job.html

SageMaker memvisualisasikan model kustom Anda pada tab Model Saya:

Pilih Lihat versi terbaru, lalu pilih Evaluasi:

Langkah 2: Kirim Pekerjaan Evaluasi Anda

Pilih tombol Kirim dan kirimkan pekerjaan evaluasi Anda. Ini mengirimkan pekerjaan benchmark MMLU minimal.

Untuk informasi tentang jenis pekerjaan evaluasi yang didukung, lihatJenis Evaluasi dan Pengajuan Pekerjaan.

Langkah 3: Lacak Kemajuan Pekerjaan Evaluasi Anda

Kemajuan pekerjaan evaluasi Anda dilacak di tab Langkah evaluasi:

Langkah 4: Lihat Hasil Pekerjaan Evaluasi Anda

Hasil pekerjaan evaluasi Anda divisualisasikan di tab Hasil evaluasi:

Langkah 5: Lihat Evaluasi Anda yang Selesai

Pekerjaan evaluasi Anda yang telah selesai ditampilkan di Evaluasi kartu model Anda:

Kirim Pekerjaan Evaluasi Anda Melalui SageMaker Python SDK

Langkah 1: Buat BenchMarkEvaluator

Teruskan model terlatih terdaftar Anda, lokasi keluaran AWS S3, dan ARN sumber daya MLFlow ke BenchMarkEvaluator dan kemudian inisialisasi.

from sagemaker.train.evaluate import BenchMarkEvaluator, Benchmark  
  
evaluator = BenchMarkEvaluator(  
    benchmark=Benchmark.MMLU,  
    model="arn:aws:sagemaker:<region>:<account-id>:model-package/<model-package-name>/<version>",  
    s3_output_path="s3://<bucket-name>/<prefix>/eval/",  
    mlflow_resource_arn="arn:aws:sagemaker:<region>:<account-id>:mlflow-tracking-server/<tracking-server-name>",  
    evaluate_base_model=False  
)

Langkah 2: Kirim Pekerjaan Evaluasi Anda

Panggil evaluate() metode untuk mengirimkan pekerjaan evaluasi.

execution = evaluator.evaluate()

Langkah 3: Lacak Kemajuan Pekerjaan Evaluasi Anda

Panggil wait() metode eksekusi untuk mendapatkan pembaruan langsung dari kemajuan pekerjaan evaluasi.

execution.wait(target_status="Succeeded", poll=5, timeout=3600)

Langkah 4: Lihat Hasil Pekerjaan Evaluasi Anda

Panggil show_results() metode untuk menampilkan hasil pekerjaan evaluasi Anda.

execution.show_results()