Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memulai

Kirim Job Evaluasi Melalui SageMaker Studio

Langkah 1: Arahkan ke Evaluasi Dari Kartu Model Anda

Setelah Anda menyesuaikan model Anda, navigasikan ke halaman evaluasi dari kartu model Anda.

Untuk informasi tentang pelatihan model kustom berat terbuka: https://docs.aws.amazon.com/sagemaker/latest/dg/model- .html customize-open-weight-job

SageMaker memvisualisasikan model kustom Anda pada tab My Models:

Pilih Lihat versi terbaru, lalu pilih Evaluasi:

Langkah 2: Kirim Job Evaluasi Anda

Pilih tombol Kirim dan kirimkan pekerjaan evaluasi Anda. Ini mengirimkan pekerjaan benchmark MMLU minimal.

Untuk informasi tentang jenis pekerjaan evaluasi yang didukung, lihatJenis evaluasi dan Job Submission.

Langkah 3: Lacak Kemajuan Pekerjaan Evaluasi Anda

Progres pekerjaan evaluasi Anda dilacak di tab Langkah evaluasi:

Langkah 4: Lihat Hasil Job Evaluasi Anda

Hasil pekerjaan evaluasi Anda divisualisasikan di tab Hasil evaluasi:

Langkah 5: Lihat Evaluasi Selesai Anda

Pekerjaan evaluasi Anda yang telah selesai ditampilkan di Evaluasi kartu model Anda:

Kirim Job Evaluasi Anda Melalui SageMaker Python SDK

Langkah 1: Buat Anda BenchMarkEvaluator

Lulus model terlatih terdaftar Anda, lokasi keluaran AWS S3, dan MLFlow sumber daya ARN BenchMarkEvaluator ke lalu inisialisasi.

from sagemaker.train.evaluate import BenchMarkEvaluator, Benchmark  
  
evaluator = BenchMarkEvaluator(  
    benchmark=Benchmark.MMLU,  
    model="arn:aws:sagemaker:<region>:<account-id>:model-package/<model-package-name>/<version>",  
    s3_output_path="s3://<bucket-name>/<prefix>/eval/",  
    mlflow_resource_arn="arn:aws:sagemaker:<region>:<account-id>:mlflow-tracking-server/<tracking-server-name>",  
    evaluate_base_model=False  
)

Langkah 2: Kirim Job Evaluasi Anda

Panggil evaluate() metode untuk mengirimkan pekerjaan evaluasi.

execution = evaluator.evaluate()

Langkah 3: Lacak Kemajuan Pekerjaan Evaluasi Anda

Hubungi wait() metode eksekusi untuk mendapatkan pembaruan langsung dari kemajuan pekerjaan evaluasi.

execution.wait(target_status="Succeeded", poll=5, timeout=3600)

Langkah 4: Lihat Hasil Job Evaluasi Anda

Hubungi show_results() metode untuk menampilkan hasil pekerjaan evaluasi Anda.

execution.show_results()