View a markdown version of this page

使用 CloudWatch bedrock-mantle 指標監控推論 - Amazon Bedrock
推論指標權杖指標維度選擇正確的精細程度與bedrock-runtime指標的差異檢視 bedrock-mantle 指標

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

使用 CloudWatch bedrock-mantle 指標監控推論

Amazon Bedrock OpenAI 相容端點 (bedrock-mantle.region.api.aws) 會將面向客戶的指標發佈至 AWS/BedrockMantle 命名空間下的 Amazon CloudWatch。使用這些指標來監控您、專案和模型的推論量 AWS 帳戶、字符耗用量和錯誤率。

如果您的應用程式bedrock-runtime.region.amazonaws.com使用 Converse、ConverseStream、InvokeModel 或 InvokeModelWithResponseStream 呼叫推論，請Amazon Bedrock 執行時期指標改為參閱。 bedrock-mantle指標僅涵蓋透過bedrock-mantle端點上的回應 API、聊天完成 API 和 Anthropic Messages API 發出的推論。

bedrock-mantle 會以四個精細程度發佈指標。每個關卡使用不同的 CloudWatch 維度組合，如中所述維度。所有指標都限定在您的 範圍內 AWS 帳戶。

推論指標

推論指標
指標名稱 單位 說明
Inferences 計數 回應、聊天完成和訊息 APIs 中已完成的推論請求總數。在帳戶、專案、模型和 Project+Model 層級發佈。
InferenceClientErrors 計數 因用戶端 (4xx) 錯誤而失敗的推論請求數量。在帳戶、專案、模型和 Project+Model 層級發佈。

權杖指標

權杖指標
指標名稱 單位 說明
TotalInputTokens 計數 在發佈間隔內處理的可計費輸入字符彙總。在帳戶、專案和模型層級發佈。用於總和和和費率計算。
TotalOutputTokens 計數 彙總在發佈間隔內產生的計費輸出字符。在帳戶、專案和模型層級發佈。
InputTokens 計數 每個推論可計費輸入字符。每個完成的推論都會發出一個基準。僅在 Project+Model 層級發佈。當您需要每個請求字符計數的百分位數統計資料 (p50/p90/p99) 時，請使用此選項。
OutputTokens 計數 每個推論可計費輸出字符。每個完成的推論都會發出一個基準。僅在 Project+Model 層級發佈。

維度

維度
維度名稱 值 適用對象
Project 與推論請求相關聯的專案 ID。 Project、Project+Model
Model 模型識別符 （例如 anthropic.claude-opus-4-7)。 模型、專案 + 模型

帳戶層級指標範圍限定於您的 AWS 帳戶 ，沒有額外的維度。每個精細程度都會獨立發出，因此當專案和模型都可以解決時，單一推論會對所有四個層級做出貢獻。

選擇正確的精細程度

  • 帳戶層級 – 整體用量、錯誤率和彙總字符量。適用於高階儀表板和全帳戶警示。不適合用於成本分析，因為定價因模型而異。

  • 專案層級 – 每個專案的計費和團隊層級儀表板彙總。

  • 模型層級 – 每個模型的用量和錯誤率，適用於遷移針對現有bedrock-runtimeModelId維度建置的儀表板。

  • Project+Model 層級 – 成本分析的主要層級，以及百分位數延遲和權杖分析。當您在同一基準上同時需要專案屬性和模型屬性時，請使用此選項。

與bedrock-runtime指標的差異

  • 個別命名空間。 bedrock-mantle指標會發佈至 AWS/BedrockMantle。為 建置的現有儀表板和警示AWS/Bedrock不會收取bedrock-mantle流量。

  • 命名。 bedrock-mantle使用 Inferences而不是 Invocations、 TotalInputTokens和 TotalOutputTokens而不是 InputTokenCount和 OutputTokenCount，以及 InferenceClientErrors而不是 InvocationClientErrors。

  • 專案維度。 bedrock-mantle 指標具有bedrock-runtime指標沒有的Project維度，啟用每個專案的成本歸因。

  • 跨區域推論。 bedrock-mantle 僅位於區域內。處理請求的 區域中會發出指標，而不會跨區域彙總跨區域推論 (CRIS) 流量在 上的方式bedrock-runtime。

  • 延遲指標。 InvocationLatency和 對TimeToFirstToken等項目尚未由 發佈bedrock-mantle。

檢視 bedrock-mantle 指標

若要在 CloudWatch 主控台中檢視bedrock-mantle指標：

  1. 開啟 CloudWatch 主控台。

  2. 在導覽窗格中，選擇 Metrics (指標)、All metrics (所有指標)。

  3. 選擇 AWS/BedrockMantle 命名空間。

  4. 選擇符合查詢的維度集來選取精細程度層級 （例如，Project, Modelproject-and-model明細）。

您必須擁有適當的 CloudWatch 許可才能讀取bedrock-mantle指標。如需詳細資訊，請參閱《Amazon CloudWatch 使用者指南》中的 Amazon CloudWatch 的身分驗證和存取控制。 Amazon CloudWatch