在 Amazon EKS 上运行人工智能/机器学习推理工作负载

动态 GPU 扩展：Karpenter 会根据容器组资源请求按需预调配大小合适的 GPU 实例，在空闲时从零开始扩展并随着流量增加而添加容量。这样可以避免过多配置高成本的 GPU 资源。

快速冷启动：SOCI（Seekable OCI）并行拉取功能会同时下载和解压缩大型容器映像层，将映像拉取时间从几分钟缩短到几秒。再加上模型会从 Amazon S3 直接流式传输到 GPU 内存，容器组可在不到两分钟的时间内开始提供服务。

自动 GPU 故障恢复：EKS 节点监控代理可检测到 GPU 硬件故障并触发自动节点替换，无需人工干预，从而最大限度减少停机时间。

成本优化：使用竞价型实例并启用按需型回退、实例选择时会合理调整大小并执行缩减到零行为，从而降低 GPU 成本。预留容量（ODCR）可为稳态工作负载提供额外的节省。

开放标准和可移植性：推理工作负载在标准的 Kubernetes API（部署、服务、HPA）上运行，使用 vLLM 或 SGLang 等开源模型服务器，实现跨环境可移植性。

集成监控：来自 vLLM 或 SGLang 的 Prometheus 指标以及 NVIDIA DCGM Exporter 可通过 Grafana 控制面板查看请求延迟、词元吞吐量、GPU 利用率和内存使用情况。

推理：运行经过训练的模型以根据输入数据生成输出（文本、嵌入、分类）的过程。

模型服务器：一种用于将模型加载到内存中，接收推理请求并返回预测的容器化服务。示例包括 vLLM、SGLang、Triton Inference Server 和 Text Generation Inference（TGI）。

模型权重：经训练模型的学习参数，存储为文件（通常采用 SafeTensors 或 GGUF 格式），模型服务器会将该文件加载到 GPU 内存中。

加速器：可加快推理所需矩阵运算的专用硬件，例如 NVIDIA GPU 或 AWS Trainium/Inferentia 芯片。

张量并行度：将模型拆分到同一节点上的多个 GPU 上，以服务超过单个 GPU 内存的模型。

KV 缓存：一种用于在文本生成期间存储先前计算的键值对的内存缓冲区，从而避免对每个新词元进行冗余计算。

首词元时间（TTFT）：从请求到达至第一个词元生成所需的时间。对于交互式应用程序至关重要。

每输出词元时间（TPOT）：在第一个词元之后生成每个后续词元所需的平均时间。

端到端请求延迟：从提交请求到完成完整响应所需的总时间。

每秒请求数：所有副本中每秒处理的推理请求总数。

每秒输出词元数：词元生成速率，以输出词元总数除以经过的时间来衡量。

GPU 利用率：积极用于推理的 GPU 计算周期占比。

KV 缓存利用率：所分配 KV 缓存内存的使用占比，表示服务器接近其容量上限的程度。

SOCI 并行拉取：同时下载和解压缩容器映像层，而不是串行拉取。EKS 自动模式会为 GPU 实例默认启用此功能。

从 S3 流式传输模型：诸如 Run:ai Model Streamer 之类的工具可将模型权重直接从 Amazon S3 流式传输到 GPU 内存，绕过本地磁盘，从而将加载时间从几分钟缩短到几秒。

将映像存储在 Amazon ECR 中：通过 VPC 端点从区域 ECR 存储库中拉取大型容器映像，避免互联网延迟。

实例存储缓存 ：具有本地 NVMe 磁盘的 G 系列实例可以缓存容器层和模型构件，从而加快在同一节点上的后续拉取速度。