View a markdown version of this page

Benchmark LLM dengan vLLM dan lm-evaluation-harness di Deadline Cloud - Awan Batas Waktu

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Benchmark LLM dengan vLLM dan lm-evaluation-harness di Deadline Cloud

Bundel pekerjaan vllm_lm_eval_leaderboard di GitHub situs web mengevaluasi beberapa LLM terhadap beberapa tolok ukur dalam satu pekerjaan Deadline Cloud. Setiap model menjadi satu tugas dalam sapuan parameter, dan tugas berjalan secara paralel di seluruh pekerja. Langkah terakhir menggabungkan hasil per model menjadi papan peringkat peringkat (CSV dan Markdown).

Setiap tugas dalam EvalModels langkah memulai server vLLM lokal, menjalankan setiap benchmark dengan lm-evaluation-harness eLeutherai terhadap titik akhir lokal, lalu menghentikan vLLM. Untuk informasi lebih lanjut, lihat vLLM dan lm-evalu ation-harness di situs web. GitHub Model dimuat langsung dari Hugging Face Hub, jadi lampiran pekerjaan tidak diperlukan.

Untuk menjalankan bundel ini, gunakan CloudFormation template pertanian CUDA di GitHub situs web. Template menyediakan armada yang dikelola layanan NVIDIA GPU (A10G atau L4) dan antrian dengan lingkungan antrian conda yang digunakan bundel ini tanpa modifikasi. Jika Anda sudah memiliki peternakan, Anda memerlukan armada SMF dengan GPU NVIDIA, setidaknya 32 GB RAM, dan setidaknya 4 vCPU.

Daftar model default adalah campuran kecil, tanpa batas, dan cepat yang cocok untuk satu A10G atau L4:,, dan. Qwen/Qwen2.5-0.5B Qwen/Qwen2.5-1.5B EleutherAI/pythia-1.4b Untuk menggunakan model lain, edit range daftar parameterSpace.taskParameterDefinitions di bawahtemplate.yaml.

Tolok ukur default membentuk rangkaian penalaran akal sehat:hellaswag,arc_easy,arc_challenge,winogrande. Ganti pada waktu pengiriman:

deadline bundle submit ./job_bundles/vllm_lm_eval_leaderboard/ \
  --parameter Benchmarks="hellaswag,mmlu,gsm8k"

Jika armada Anda tidak meningkatkan jumlah pekerja, penyebab paling umum adalah kuota layanan Deadline Cloud. Konfirmasikan bahwa Anda memiliki ruang untuk GPU instans OnDemand G per wilayah dan OnDemand vCPU per wilayah di konsol Kuota Layanan.

Untuk panduan lengkap yang mencakup prasyarat, pengaturan pertanian, model dan tolok ukur khusus, dan pembersihan, lihatBenchmark LLM dengan vLLM dan lm-evaluation-harness.