生成式 AI 可觀測性 - Amazon CloudWatch

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

生成式 AI 可觀測性

透過 Amazon CloudWatch，您可以觀測生成式 AI 工作負載 (包括 Amazon Bedrock AgentCore 代理程式)，並深入了解 AI 效能、運作狀態和準確性。CloudWatch 提供預先設定的 AI 工作負載延遲、用量和錯誤檢視，助您更快速地偵測模型和代理程式等元件中的問題。端對端提示追蹤功能可協助您快速識別知識庫、工具、模型等元件中的問題。CloudWatch 的 AI 監控功能與熱門的生成式 AI 協同運作架構相容，例如 AWS Strands、LangChain 和 LangGraph，提供您選擇的架構彈性。

透過 CloudWatch 生成式 AI 可觀測性功能，您可以：

  • 透過自動化監控大規模評估 AI 應用程式品質和準確性，透過擷取模型輸出、回應品質指標和最終使用者互動來降低手動檢閱需求

  • 監控模型調用、代理程式 (受管、自我託管和第三方)、知識庫、防護機制和工具

  • 從代理程式實驗階段逐步推進至創新型 GenAI 應用程式的生產階段，同時確保卓越的品質、效能與可靠性。如需更多資訊，請參閱什麼是 Amazon Bedrock AgentCore？

  • 透過端對端提示追蹤、精心設計的指標與日誌，快速識別錯誤來源

  • 對整個 GenAI 應用程式和底層基礎結構的問題進行疑難排解，利用現有的 CloudWatch 觀測工具，例如 Application Signals、警示、儀表板、敏感資料保護和 Logs Insights

  • 使用 Amazon Bedrock 時存取提示追蹤，並藉助 ADOT SDK 將第三方模型的結構化追蹤傳送至 CloudWatch。如需將可觀測性新增至 Amazon Bedrock AgentCore 代理程式或工具的詳細資訊，請參閱 Amazon Bedrock AgentCore

CloudWatch 生成式 AI 可觀測性提供兩種預先建置的功能：

注意

您可以使用 Amazon Bedrock 中推論的任何模型，來使用模型調用儀表板。

  • 模型調用 – 有關模型用量、字符使用量和精選調用日誌表的詳細指標儀表板，用於檢視模型推論的詳細輸入和輸出內容

  • Amazon Bedrock AgentCore 代理程式 – Amazon Bedrock AgentCore 基本功能的效能和決策指標，例如代理程式、記憶體、內建工具、閘道和身分

這些儀表板中可用的關鍵指標包括：

  • 調用總數和平均數

  • 字符用量 (總計、每個查詢的平均數、輸入、輸出)

  • 延遲 (平均值、P90、P99)

  • 錯誤率和限流事件

  • 依應用程式、使用者角色或特定使用者的成本歸因

主題