View a markdown version of this page

Amazon SageMaker AI 详细介绍了推理终端节点的可观察性 - 亚马逊 SageMaker AI
关键功能所含内容架构和数据流定价

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

Amazon SageMaker AI 详细介绍了推理终端节点的可观察性

详细的可观察性是 Amazon A SageMaker I 实时推理终端节点的下一代指标体验。它以 OpenTelemetry (oTel) 为基础，从 GPU、节点和推理框架层收集精细的运行指标，并将这些指标发布到 Amazon，并 CloudWatch 附上丰富的标签，包括终端节点名称、推理组件名称、实例 ID、可用区和实例类型。

关键功能

  • OpenTelemetry-native 收藏。指标是使用 oTel 收集器收集的，该收集器从 DCGM（GPU 指标）、节点导出器（CPU、内存、磁盘）和推理框架容器（vlLM、sgLang）中抓取 Prometheus 端点。

  • 丰富的维度标签。发布的每个指标都带有诸如aws.sagemaker.endpoint.name、、aws.sagemaker.inference_component.name@resource.host.id、和之类的标签@resource.cloud.availability_zone，@resource.host.type用于精确筛选和聚合。

  • Per-GPU 归因。GPU 指标 (DCGM) 包括每个推理组件的归因，允许您识别哪个模型在多租户实例上消耗 GPU 资源。

  • 推理框架指标。原生 vlLM 和 sgLang 指标（包括每秒令牌数、生成第一个令牌的时间 (TTFT)、令牌间延迟、KV 缓存利用率、队列深度和批量大小）无需自定义检测即可使用。

  • PromQL 查询支持。在亚马逊 CloudWatch、Query Studio 或亚马逊托管 Grafana 中使用 PromQL 语法 CloudWatch 查询指标。

  • 可配置的刮擦频率。使用MetricPublishFrequencyInSeconds（有效值：10、30、60、120、180、240、300 秒）控制收集指标的频率。默认为 60 秒。生命周期、自动缩放和 ICE 诊断等控制平面指标由事件驱动，不受此设置的影响。

注意

详细的可观察性 CloudWatch 通过 OTLP 向亚马逊发布 OpenTelemetry (oTel) 指标。这些不是 Prometheus 的指标。这些指标以 oTel 指标数据原生存储在亚马逊中 CloudWatch ，可使用 PromQL 语法进行查询。PromQL 仅作为查询语言支持，不涉及 Prometheus 服务器或后端。 Prometheus-compatible

所含内容

详细的可观测性指标类别
类别 指标 Scope 频率
推理框架 () vLLM/SGLang TTFT、ITL、KV 缓存、队列深度、批次大小、TPS、并发请求 Per-IC 对于推理组件端点，对于每个端点适用于中小instance/per企业 可配置
GPU 生命值 (DCGM) GPU 利用率、内存副本利用率、GPU 温度 Per-instance，每个 GPU 可配置
节点运行状况 CPU、内存、磁盘、文件系统 Per-instance 可配置
推理组件放置和高可用性 IC 副本数、每个可用区的副本、可用区偏差、每个实例 IC、每个可用区的实例 Per-endpoint 定期
生命周期 模型下载时间、GPU 加载时间、容器启动、冷启动 Per-IC，每个端点 Event-driven
自动扩缩 扩展事件、端到端延迟、重新平衡 Per-endpoint Event-driven
ICE 诊断 ICE 计数、失败类型、失败的可用区 Per-endpoint Event-driven

有关完整列表，请参阅 OpenTelemetry 指标参考。

架构和数据流

架构图显示了详细可观察性的指标收集管道。

每个终端节点实例都会公开来自多个来源的指标。oTel Collector 会抓取这些来源，使用上下文标签丰富数据，然后将其导出到您的亚马逊账户。 CloudWatch

  1. 模型容器、DCGM 导出器和节点导出器会显示实例上的 Prometheus-compatible 指标（分别为推理框架指标、GPU 指标和 CPU/memory/disk 指标）。

  2. oTel Collector 抓取这些端点，并使用端点名称、推理组件名称、实例 ID 和可用区等标签来丰富每个指标。

  3. 丰富指标将通过 OTLP 导出到您的账户 CloudWatch 中的 Amazon。

  4. 指标可通过 Amazon 中的 PromQL 查询，网址为。 CloudWatch https://monitoring.region.amazonaws.com

定价

包含详细的可观测性指标，无需支付额外费用。有关与 oTel 充实相关的亚马逊 CloudWatch 数据摄取成本的信息，请参阅 Amazon 定价。 CloudWatch