View a markdown version of this page

Amazon SageMaker AI 推論端點的詳細可觀測性 - Amazon SageMaker AI
關鍵功能涵蓋內容架構和資料流程定價

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Amazon SageMaker AI 推論端點的詳細可觀測性

詳細的可觀測性是 Amazon SageMaker AI 即時推論端點的新一代指標體驗。以 OpenTelemetry (OTel) 為基礎，它從 GPU、節點和推論架構層收集精細的操作指標，並將其發佈到具有豐富標籤的 Amazon CloudWatch，包括端點名稱、推論元件名稱、執行個體 ID、可用區域和執行個體類型。

關鍵功能

  • OpenTelemetry 原生集合。使用從 DCGM (GPU 指標）、節點匯出器 (CPU、記憶體、磁碟） 和推論架構容器 (vLLM、SGLang) 抓取 Prometheus 端點的 OTel 收集器收集指標。

  • 豐富的維度標籤。每個指標都會發佈 aws.sagemaker.endpoint.name、、@resource.cloud.availability_zone、 和 等標籤aws.sagemaker.inference_component.name@resource.host.id，@resource.host.type以進行精確的篩選和彙總。

  • 每個 GPU 屬性。GPU 指標 (DCGM) per-inference-component屬性，可讓您識別在多租用戶執行個體上使用 GPU 資源的模型。

  • 推論架構指標。無需自訂檢測，即可使用原生 vLLM 和 SGLang 指標，包括每秒權杖、首次權杖時間 (TTFT)、權杖間延遲、KV 快取使用率、佇列深度和批次大小。

  • PromQL 查詢支援。在 Amazon CloudWatch、CloudWatch Query Studio 或 Amazon Managed Grafana 中使用 PromQL 語法查詢指標。

  • 可設定的湊集頻率。控制使用 收集指標的頻率 MetricPublishFrequencyInSeconds（有效值：10、30、60、120、180、240、300 秒）。預設為 60 秒。生命週期、自動擴展和 ICE 診斷等控制平面指標是事件驅動的，不受此設定影響。

注意

詳細可觀測性會透過 OTLP 將 OpenTelemetry (OTel) 指標發佈至 Amazon CloudWatch。這些不是 Prometheus 指標。這些指標以 OTel 指標資料的形式原生存放在 Amazon CloudWatch 中，並使用 PromQL 語法查詢。PromQL 僅支援查詢語言 — 不涉及 Prometheus 伺服器或 Prometheus 相容後端。

涵蓋內容

詳細的可觀測性指標類別
Category 指標 Scope (範圍) Frequency (頻率)
推論架構 (vLLM/SGLang) TTFT、ITL、KV 快取、佇列深度、批次大小、TPS、並行請求 推論元件端點的每個 IC、SME 的每個執行個體/每個端點 可設定
GPU 運作狀態 (DCGM) GPU 使用率、記憶體複製使用率、GPU 溫度 每個執行個體、每個 GPU 可設定
節點運作狀態 CPU、記憶體、磁碟、檔案系統 每個執行個體 可設定
推論元件放置和高可用性 IC 複製計數、每個 AZ 的複製數、AZ 扭曲、每個執行個體的 IC、每個 AZ 的執行個體 每個端點 定期
生命週期 模型下載時間、GPU 載入時間、容器啟動、冷啟動 每個 IC、每個端點 事件驅動
自動擴展 擴展事件、E2E 延遲、重新平衡 每個端點 事件驅動
ICE 診斷 ICE 計數、失敗的類型、失敗的 AZ 每個端點 事件驅動

如需完整清單，請參閱OpenTelemetry 指標參考。

架構和資料流程

顯示指標收集管道的架構圖表，提供詳細的可觀測性。

每個端點執行個體都會公開來自多個來源的指標。OTel 收集器會抓取這些來源、使用內容標籤豐富資料，並將其匯出到您的 Amazon CloudWatch 帳戶。

  1. 模型容器、DCGM 匯出器和節點匯出器會在執行個體上公開與 Prometheus 相容的指標 （分別是推論架構指標、GPU 指標和 CPU/memory/disk指標）。

  2. OTel Collector 會抓取這些端點，並使用端點名稱、推論元件名稱、執行個體 ID 和可用區域等標籤來充實每個指標。

  3. 豐富的指標會透過 OTLP 匯出至您帳戶中的 Amazon CloudWatch。

  4. 指標可透過 Amazon CloudWatch 中的 PromQL 查詢，網址為 https://monitoring.region.amazonaws.com。

定價

包含詳細的可觀測性指標，無需額外費用。如需 OTel 擴充相關 Amazon CloudWatch 資料擷取成本的資訊，請參閱 Amazon CloudWatch 定價。