Effettua il benchmark dei LLM con vLLM e lm-evaluation-harness su Deadline Cloud

Il job bundle vllm_lm_eval_leaderboard valuta più LLM rispetto a più benchmark in un unico job di Deadline Cloud. Ogni modello diventa un'attività in uno sweep di parametri e le attività vengono eseguite in parallelo tra i lavoratori. Un passaggio finale aggrega i risultati per modello in una classifica classificata (CSV e Markdown).

Ogni attività della EvalModels fase avvia un server vLLM locale, esegue ogni benchmark con lm-evaluation-harness di eleutherAI sull'endpoint locale, quindi arresta vLLM. I HuggingFace modelli vengono caricati direttamente dall'Hub, quindi non sono necessari allegati di lavoro.

Per eseguire questo pacchetto, distribuisci il modello di farm CUDA. CloudFormation Il modello fornisce una flotta gestita dal servizio GPU NVIDIA (A10G o L4) e una coda con un ambiente di coda conda che questo pacchetto utilizza senza modifiche. Se hai già una farm, ti serve una flotta SMF con GPU NVIDIA, almeno 32 GB di RAM e almeno 4 vCPU.

L'elenco di modelli predefinito è un mix piccolo, non datato, a caricamento rapido che si adatta a un singolo A10G o L4:, e. Qwen/Qwen2.5-0.5B Qwen/Qwen2.5-1.5B EleutherAI/pythia-1.4b Per utilizzare altri modelli, modifica l'elenco sotto in. range parameterSpace.taskParameterDefinitions template.yaml

I benchmark predefiniti formano una suite di ragionamento basata sul buon senso:. hellaswag,arc_easy,arc_challenge,winogrande Sostituisci al momento dell'invio:

deadline bundle submit ./job_bundles/vllm_lm_eval_leaderboard/ \
  --parameter Benchmarks="hellaswag,mmlu,gsm8k"

Se la tua flotta non aumenta il numero di dipendenti, la causa più comune è una quota di servizio vCPU EC2. Verifica di avere spazio di manovra per eseguire istanze On-Demand G e VT nella console Service Quotas.

Per una procedura dettagliata che copre i prerequisiti, la configurazione della farm, i modelli e i benchmark personalizzati e la pulizia, consulta. Effettua il benchmark dei LLM con vLLM e lm-evaluation-harness