Compare los LLM con vLLM y lm-evaluation-harness en Deadline Cloud

El paquete de tareas vllm_lm_eval_leaderboard evalúa varios LLM comparándolos con varios puntos de referencia en un solo trabajo de Deadline Cloud. Cada modelo se convierte en una tarea en un barrido de parámetros y las tareas se ejecutan en paralelo entre los trabajadores. El último paso consiste en agregar los resultados de cada modelo en una tabla clasificatoria (CSV y Markdown).

Cada tarea del EvalModels paso inicia un servidor vLLM local, ejecuta todos los puntos de referencia con el arnés lm-evaluation-harness de EleutherAI en el punto final local y, a continuación, detiene el vLLM. Los modelos se cargan directamente desde Hub, por lo que no es necesario adjuntar los trabajos. HuggingFace

Para ejecutar este paquete, implementa la CloudFormation plantilla de granja CUDA. La plantilla proporciona una flota gestionada por el servicio de GPU de NVIDIA (A10G o L4) y una cola con un entorno de cola conda que este paquete utiliza sin modificaciones. Si ya tienes una granja, necesitas una flota SMF con GPU NVIDIA, al menos 32 GB de RAM y al menos 4 vCPU.

La lista de modelos por defecto es una combinación pequeña, independiente y de carga rápida que cabe en un único modelo A10G o L4:, y. Qwen/Qwen2.5-0.5B Qwen/Qwen2.5-1.5B EleutherAI/pythia-1.4b Para usar otros modelos, edite la lista que aparece en. range parameterSpace.taskParameterDefinitions template.yaml

Los puntos de referencia predeterminados forman un conjunto de razonamiento de sentido común:hellaswag,arc_easy,arc_challenge,winogrande. Anular en el momento del envío:

deadline bundle submit ./job_bundles/vllm_lm_eval_leaderboard/ \
  --parameter Benchmarks="hellaswag,mmlu,gsm8k"

Si su flota no aumenta el número de trabajadores, la causa más común es una cuota de servicio de vCPU de EC2. Confirme que dispone de espacio suficiente para ejecutar instancias On-Demand G y VT en la consola Service Quotas.

Para ver un recorrido completo que incluye los requisitos previos, la configuración de la granja, los modelos y puntos de referencia personalizados y la limpieza, consulte. LLM de referencia con vLLM y lm-evaluation-harness