Executar workloads de inferência de IA/ML no Amazon EKS

Escalação dinâmica de GPU: o Karpenter provisiona instâncias de GPU do tamanho certo sob demanda com base nas solicitações de recursos do Pod, escalando a partir de zero em períodos de ociosidade e adicionando capacidade à medida que o tráfego aumenta. Isso evita o provisionamento excessivo de recursos dispendiosos de GPU.

Inícios rápidos a frio: o SOCI (Seekable OCI) baixa e a descompacta em paralelo grandes camadas de imagens de contêiner, reduzindo o tempo de extração de minutos para segundos. Combinado com o streaming de modelos do Amazon S3 diretamente para a memória da GPU, os pods podem começar a servir em menos de dois minutos.

Recuperação automática de falha de GPU: o agente de monitoramento de nós do EKS detecta falhas no hardware da GPU e aciona a substituição automática dos nós, minimizando o tempo de inatividade sem intervenção manual.

Otimização de custos: instâncias spot com fallback de sob demanda, seleção de instâncias do tamanho certo e comportamento de escalação até zero reduzem os custos de GPU. A capacidade reservada (ODCRs) proporciona economia adicional para workloads de estado fixo.

Padrões abertos e portabilidade: as workloads de inferência são executadas nas APIs padrão do Kubernetes (implantações, serviços, HPAs) com servidores de modelo de código aberto, como vLLM ou SGlang, fornecendo portabilidade entre ambientes.

Monitoramento integrado: as métricas do Prometheus extraídas de vLLM ou SGlang e o exportador DCGM NVIDIA fornecem visibilidade da latência de solicitações, throughput de tokens, utilização de GPU e uso de memória nos painéis do Grafana.

Inferência: o processo de executar um modelo treinado para gerar saídas (texto, incorporações, classificações) a partir de dados de entrada.

Servidor de modelo: um serviço conteinerizado que carrega um modelo na memória, recebe solicitações de inferência e retorna previsões. Os exemplos incluem vLLM, SGLang, servidor de inferência Triton e TGI (Text Generation Inference).

Pesos do modelo: os parâmetros aprendidos de um modelo treinado, armazenados como arquivos (normalmente no formato SafeTensors ou GGUF) que o servidor do modelo carrega na memória da GPU.

Acelerador: hardware especializado, como GPUs NVIDIA ou chips AWS Trainium/Inferentia, que aceleram as operações matriciais necessárias para inferência.

Paralelismo de tensores: divisão de um modelo entre várias GPUs no mesmo nó para comportar modelos que excedem a memória de uma única GPU.

Cache de KV: um buffer de memória que armazena os pares de valor-chave calculados anteriormente durante a geração do texto, evitando computação redundante para cada novo token.

Tempo até o primeiro token (TTFT): tempo desde a chegada da solicitação até o primeiro token ser gerado. Essencial para aplicações interativas.

Tempo por token de saída (TPOT): tempo médio para gerar cada token subsequente ao primeiro.

Latência de solicitação de ponta a ponta: tempo total do envio da solicitação até a conclusão da resposta completa.

Solicitações por segundo: total de solicitações de inferência atendidas por segundo em todas as réplicas.

Tokens de saída por segundo: taxa de geração de tokens, medida como o total de tokens de saída dividido pelo tempo transcorrido.

Utilização da GPU: porcentagem dos ciclos de computação da GPU usados ativamente para inferência.

Utilização do cache de KV: porcentagem da memória do cache de KV alocada em uso, indicando o quanto o servidor está próximo da capacidade.

Extração paralela do SOCI: baixa e descompacta as camadas de imagens de contêiner simultaneamente, em vez de sequencialmente. Habilitado por padrão no Modo Automático do EKS para instâncias da GPU.

Streaming de modelo do S3: ferramentas como o streamer de modelo Run:ai transmitem os pesos do modelo diretamente do Amazon S3 para a memória da GPU, contornando o disco local e reduzindo o tempo de carregamento de minutos para segundos.

Armazene imagens no Amazon ECR: a extração das imagens de um repositório regional do ECR por um endpoint da VPC evita a latência da Internet para imagens de contêineres grandes.

Cache do armazenamento de instância: as instâncias da família G com discos NVMe locais podem armazenar camadas de contêineres e artefatos de modelo, acelerando extrações subsequentes no mesmo nó.