Ejecución de cargas de trabajo de inferencia de IA y ML en Amazon EKS

Escalado dinámico de la GPU: Karpenter proporciona instancias de GPU del tamaño correcto según las solicitudes de recursos del pod, con escalado desde cero cuando está inactivo y adición de capacidad a medida que aumenta el tráfico. Esto evita el aprovisionamiento excesivo de costosos recursos de GPU.

Inicios en frío rápidos: la extracción paralela de SOCI (Seekable OCI) descarga y desempaqueta capas de imágenes de contenedores de gran tamaño al mismo tiempo, lo que reduce los tiempos de extracción de imágenes de minutos a segundos. En combinación con la transmisión de modelos desde Amazon S3 directamente a la memoria de la GPU, los pods pueden comenzar a funcionar en menos de dos minutos.

Recuperación automática de fallos de la GPU: el agente de supervisión de nodos de EKS detecta los fallos de hardware de la GPU y activa la sustitución automática de los nodos, lo que minimiza el tiempo de inactividad sin intervención manual.

Optimización de costos: las instancias de spot con opciones alternativas bajo demanda, la selección de instancias del tamaño correcto y el comportamiento de escalabilidad a cero reducen los costos de la GPU. La capacidad reservada (ODCR) proporciona ahorros adicionales para las cargas de trabajo estables.

Estándares abiertos y portabilidad: las cargas de trabajo de inferencia se ejecutan en las API estándar de Kubernetes (implementaciones, servicios, HPA) con servidores de modelos de código abierto como vLLM o SGLang, lo que proporciona portabilidad entre entornos.

Supervisión integrada: las métricas de Prometheus de vLLM o SGLang y el Exportador de DCGM NVIDIA proporcionan visibilidad de la latencia de las solicitudes, el rendimiento de los tokens, el uso de la GPU y el uso de la memoria a través de los paneles de Grafana.

Inferencia: proceso de ejecutar un modelo entrenado para generar resultados (texto, incrustaciones, clasificaciones) a partir de los datos de entrada.

Servidor del modelos: servicio en contenedores que carga un modelo en la memoria, recibe solicitudes de inferencia y devuelve predicciones. Algunos ejemplos incluyen vLLM, SGLang, Triton Inference Server y Text Generation Inference (TGI).

Pesos de los modelos: parámetros aprendidos de un modelo entrenado, almacenados como archivos (normalmente en formato SafeTensors o GGUF) que el servidor del modelo carga en la memoria de la GPU.

Acelerador: hardware especializado, como las GPU de NVIDIA o los chips de AWS Trainium o Inferentia, que aceleran las operaciones de matrices necesarias para la inferencia.

Paralelismo de tensores: divide un modelo en varias GPU del mismo nodo para ofrecer modelos que superen la memoria de una sola GPU.

Caché KV: búfer de memoria que almacena pares clave-valor previamente calculados durante la generación de texto, lo que evita la computación redundante para cada nuevo token.

Tiempo transcurrido hasta el primer token (TTFT): tiempo transcurrido desde la llegada de la solicitud hasta el primer token generado. Es fundamental para las aplicaciones interactivas.

Tiempo por token de salida (TPOT): promedio de tiempo para generar cada token subsiguiente después del primero.

Latencia de solicitud integral: tiempo total desde el envío de la solicitud hasta la finalización de la respuesta completa.

Solicitudes por segundo: total de solicitudes de inferencia servidas por segundo en todas las réplicas.

Tokens de salida por segundo: tasa de generación de tokens, medida como el total de tokens de salida dividido por el tiempo transcurrido.

Uso de la GPU: porcentaje de ciclos de computación de la GPU que se utilizan activamente para inferencia.

Uso de la caché KV: porcentaje de memoria caché KV asignada que se utiliza, lo que indica lo cerca que está el servidor de su capacidad.

Extracción en paralelo de SOCI: descarga y desempaqueta las capas de imágenes del contenedor de forma simultánea en lugar de secuencial. Se habilita de forma predeterminada en el modo automático de EKS para instancias de GPU.

Transmisión de modelos desde S3: herramientas como Run:ai Model Streamer transmiten los pesos de los modelos directamente desde Amazon S3 a la memoria de la GPU, lo que omite el disco local y reduce el tiempo de carga de minutos a segundos.

Almacenamiento de imágenes en Amazon ECR: al extraer imágenes de un repositorio de ECR regional a través de un punto de conexión de VPC, se evita la latencia de Internet para imágenes de contenedores de gran tamaño.

Almacenamiento de instancias en caché: las instancias de la familia G con discos NVMe locales pueden almacenar en caché capas de contenedores y artefactos de modelos, lo que acelera las extracciones posteriores en el mismo nodo.