在 Deadline Cloud 上使用 vLLM 和 lm-evaluation-harness 对 LL

GitHub 网站上的 vllm_lm_eval_leaderboard 任务包根据单个 Deadline Cloud 任务中的多个基准对多个 LLM 进行评估。在参数扫描中，每个模型都成为一项任务，任务在工作器之间并行运行。最后一步将每个模型的结果汇总到排名排行榜（CSV 和 Markdown）中。

该EvalModels步骤中的每项任务都会启动本地 vLLM 服务器，使用 Eleutherai 的 lm-evaluation-harnes-harness 针对本地端点运行每个基准测试，然后停止 vLLM。有关更多信息，请参阅网站上的 vLLM 和 lm-evaluation -harness。 GitHub 模型直接从 Hugging Face Hub 加载，因此不需要作业附件。

要运行此软件包，请在 GitHub 网站上部署 CUDA 农场 CloudFormation 模板。该模板提供了 NVIDIA GPU 服务管理的队列（A10G 或 L4）和一个带有 conda 队列环境的队列，该套装无需修改即可使用该队列。如果你已经有一个农场，你需要一支配有 NVIDIA GPU、至少 32 GB 内存和至少 4 个 vCPU 的 SMF 机群。

默认型号列表是一个小型、无门限、可快速加载的组合，适用于单个 A10G 或 L4:、和。Qwen/Qwen2.5-0.5B Qwen/Qwen2.5-1.5B EleutherAI/pythia-1.4b要使用其他型号，请编辑parameterSpace.taskParameterDefinitions中的range列表template.yaml。

默认基准测试构成了常识推理套件:hellaswag,arc_easy,arc_challenge,winogrande. 在提交时覆盖：

deadline bundle submit ./job_bundles/vllm_lm_eval_leaderboard/ \
  --parameter Benchmarks="hellaswag,mmlu,gsm8k"

如果您的队列无法扩大员工规模，则最常见的原因是 Deadline Cloud 服务配额。在服务配额控制台中确认您有足够的空间容纳每个区域的 OnDemand G 实例 G OnDemand PU 和每个区域的 vCPU。

有关涵盖先决条件、农场设置、自定义模型和基准测试以及清理的完整演练，请参阅使用 vLLM 和 lm-evaluation-harness 对 LLM 进行基准。