As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Compare LLMs com vLLM e lm-evaluation-harness

Este tutorial explica a avaliação de vários modelos de linguagem grande (LLMs) em relação a vários benchmarks em um único trabalho do Deadline Cloud. Cada modelo se torna uma tarefa em uma varredura de parâmetros, e as tarefas são executadas paralelamente entre os trabalhadores. Uma etapa final agrega os resultados por modelo em uma tabela de classificação classificada no formato CSV e Markdown.

O código-fonte deste tutorial está disponível no repositório deadline-cloud-samples em. GitHub

O vídeo a seguir demonstra o fluxo de trabalho da tabela de classificação do vLLM LLM no Deadline Cloud.

Tempo estimado: 20 a 40 minutos (dependendo do número de modelos e benchmarks).

Visão geral do

Cada tarefa na EvalModels etapa inicia um servidor vLLM local, executa cada benchmark com o lm-evaluation-harness da EleutherAI em relação ao endpoint local e interrompe o vLLM. Os modelos são carregados diretamente do Hugging Face Hub, portanto, acessórios de trabalho não são necessários.

Para concluir este tutorial, siga estas etapas:

Pré-requisitos

Antes de começar, a seguinte configuração é recomendada:

Configure sua fazenda

A maneira mais rápida de obter uma fazenda compatível é implantar o CloudFormation modelo de fazenda CUDA. O modelo provisiona uma frota gerenciada por serviços de GPU NVIDIA (A10G ou L4) e uma fila com um ambiente de fila conda que esse pacote usa sem modificação.

Se você já tem uma fazenda, a seguinte configuração é recomendada:

Envie o trabalho de avaliação

Alterando a lista de modelos

Os modelos são definidos como um espaço de parâmetros STRING na EvalModels etapa emtemplate.yaml:

parameterSpace:
  taskParameterDefinitions:
  - name: ModelName
    type: STRING
    range:
    - "Qwen/Qwen2.5-0.5B"
    - "Qwen/Qwen2.5-1.5B"
    - "EleutherAI/pythia-1.4b"

Para adicionar ou remover modelos, edite a range lista. Cada entrada se torna uma tarefa visível no monitor do Deadline Cloud. As IDs de modelo devem ser suportadas pelo vLLM (consulte a lista de modelos suportados pelo vLLM).

Escolhendo benchmarks

O parâmetro Benchmarks job é uma lista separada por vírgulas dos nomes das tarefas lm-evaluation-harness. Substitua os benchmarks padrão no momento do envio:

deadline bundle submit . \
  --parameter Benchmarks="hellaswag,mmlu,gsm8k"

Todos os benchmarks na lista são executados sequencialmente no servidor vLLM de cada modelo. Mantenha MaxModelLen menor ou igual à menor janela de contexto do modelo. Para obter uma lista completa dos benchmarks disponíveis, consulte as tarefas do lm-evaluation-harness em. GitHub

Baixe e analise os resultados

O exemplo a seguir mostra a saída típica da tabela de classificação:

# LLM Leaderboard

Models: 3 | Benchmarks: arc_challenge, arc_easy, hellaswag, winogrande

| Rank | Model                  | arc_challenge | arc_easy | hellaswag | winogrande | Mean   |
|------|------------------------|---------------|----------|-----------|------------|--------|
| 1    | Qwen/Qwen2.5-1.5B      | 0.4497        | 0.7176   | 0.6775    | 0.6322     | 0.6192 |
| 2    | Qwen/Qwen2.5-0.5B      | 0.3200        | 0.5816   | 0.5223    | 0.5691     | 0.4982 |
| 3    | EleutherAI/pythia-1.4b | 0.2833        | 0.5387   | 0.5201    | 0.5730     | 0.4788 |

Fazer a limpeza.

Para evitar cobranças contínuas, limpe os recursos que você criou para este tutorial:

Solução de problemas

A frota não amplia os trabalhadores

A causa mais comum é uma cota de serviço vCPU do Amazon EC2. Abra o console Service Quotas no EC2 e confirme se você tem espaço para executar instâncias On-Demand G e VT. Os aumentos de cota podem levar de minutos a alguns dias úteis.

Recursos relacionados

Os recursos a seguir fornecem informações adicionais: