模型調用 - Amazon CloudWatch
在 Amazon Bedrock 中啟用模型調用

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

模型調用

CloudWatch 生成式 AI 可觀測性可讓您監控模型調用效能。您可以使用out-of-box可用的檢視來追蹤指標，例如調用計數、字符用量和錯誤。如需叫用內容的詳細可見性，例如輸入和輸出，請啟用 Bedrock 叫用記錄並將日誌傳送至 CloudWatch。如需詳細資訊，請參閱設定 CloudWatch Logs 目的地和使用遮罩協助保護敏感日誌資料。

在 Amazon Bedrock 中啟用模型調用

注意

您必須在 Amazon Bedrock 中啟用模型調用記錄，才能檢視調用。

請依照下列步驟，在 Amazon Bedrock 中啟用模型調用記錄：

  1. 開啟位於 https://console.aws.amazon.com/bedrock/ Amazon Bedrock 主控台。

  2. 選擇設定。

  3. 在模型調用記錄下，選取模型調用記錄。

  4. 選擇要包含在日誌中的必要資料類型。選擇僅將日誌傳送至 CloudWatch Logs，或同時傳送至 Amazon S3 和 CloudWatch Logs。

  5. 在 CloudWatch Logs 組態下，建立日誌群組名稱，然後選取適當的服務角色。

  6. 選擇要包含在日誌中的必要資料類型。

  7. 選擇儲存設定

    您可以在開始使用 Amazon Bedrock 調用時自動檢視預先設定的儀表板。啟用 後Model Invocation logging，您可以檢視預設儀表板並存取它們下方的調用資料表。

生成式 AI 可觀測性

  • 呼叫計數 – Converse、ConverseStream、InvokeModel 和 InvokeModelWithResponseStream API 操作的成功請求數量

  • 調用延遲 – 調用延遲

  • 依模型劃分的字符計數 – 依輸入字符計數和輸出字符計數劃分的模型劃分的字符計數

  • 依 ModelID 的每日權杖計數 – 依模型 ID 的每日權杖總數

  • InputTokenCount、OutputTokenCount – 選定模型中此帳戶中輸入和輸出的字符總數

  • 依輸入字符分組的請求 – 依輸入字符分組到 6 個範圍的請求數量。每行代表落在特定範圍內的請求數量

  • 調用調節 – 系統調節的調用次數。您看到的調節數量取決於 SDK 中的重試設定。如需詳細資訊，請參閱《 AWS SDKs和工具參考指南》中的重試行為

  • 調用錯誤計數 – 導致伺服器端和用戶端錯誤的調用計數

請依照下列步驟使用模型調用儀表板：

  1. 將滑鼠游標暫留在任何指標圖形上，以檢視調用詳細資訊。您可以選擇警示圖示進行設定Alarms，以監控應用程式品質和效能。如需設定警示的相關資訊，請參閱警示。如需指標的詳細資訊，請參閱 Amazon Bedrock 執行時間指標。

  2. 在 ModelID 下拉式清單下，您可以選取模型 ID 來檢視對應的指標。

  3. 選取 CloudWatch 指標中的檢視，以檢視 CloudWatch 下的儀表板指標。

  4. 選取期間覆寫以調整指標時間範圍 （例如 1 分鐘、1 小時或 6 小時）。

  5. 在調用下，選擇請求 ID 以檢視請求的詳細資訊。您可以在右側窗格檢視模型調用輸入和輸出詳細資訊。

模型調用 - 請求 ID 檢視

在請求 ID 頁面的動作下拉式清單下，選擇在日誌洞見中檢視，以檢視 CloudWatch 中的日誌。如需詳細資訊，請參閱使用 CloudWatch Logs Insights 分析日誌資料。