模型調用 - Amazon CloudWatch
在 Amazon Bedrock 中啟用模型調用

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

模型調用

CloudWatch 生成式 AI 可觀測性可助您監控模型調用效能。可以透過預設檢視追蹤各項指標，例如調用次數、字符用量及錯誤狀況。如需詳細了解調用內容，例如輸入和輸出，請啟用 Bedrock 調用記錄並將日誌傳送至 CloudWatch。如需詳細資訊，請參閱設定 CloudWatch Logs 目的地和使用遮罩功能協助保護敏感日誌資料。

在 Amazon Bedrock 中啟用模型調用

注意

必須在 Amazon Bedrock 中啟用模型調用記錄，才能檢視調用。

若要在 Amazon Bedrock 中啟用模型調用記錄，請遵循下列步驟。

  1. 開啟位於 https://console.aws.amazon.com/bedrock/ 的 Amazon Bedrock 主控台。

  2. 選擇設定。

  3. 在模型調用記錄下，選取模型調用記錄。

  4. 選擇要加入日誌中的必要資料類型。如果您已發佈至 Amazon S3，請選擇僅將日誌傳送至 CloudWatch Logs，或同時傳送至 Amazon S3 和 CloudWatch Logs。

  5. 在 CloudWatch Logs 組態下，建立日誌群組名稱，然後選取適當的服務角色。

  6. 選擇要加入日誌中的必要資料類型。

  7. 選擇儲存設定

    可以在開始使用 Amazon Bedrock 調用時，自動檢視預先設定的儀表板。啟用 Model Invocation logging 後，可以檢視預設儀表板並存取其下方的調用資料表。

生成式 AI 可觀測性

  • 調用計數：Converse、ConverseStream、InvokeModel 和 InvokeModelWithResponseStream API 操作的成功請求數目

  • 調用延遲：調用的延遲

  • 依模型的字符計數：依輸入字符計數和輸出字符計數劃分的模型字符計數

  • 依 ModelID 的每日字符計數：依模型 ID 的每日字符總數

  • InputTokenCount、OutputTokenCount：選定模型內此帳戶中的輸入和輸出字符總數

  • 依輸入字符分組的請求：依輸入字符分組到 6 個範圍的請求數目。每行代表落在特定範圍內的請求數

  • 調用限流：系統限流的調用次數。您看到的限流數目取決於 SDK 中的重試設定。如需詳細資訊，請參閱《 AWS SDKs和工具參考指南》中的重試行為

  • 調用錯誤計數：導致伺服器端和用戶端錯誤的調用計數

若要使用模型調用儀表板，請遵循下列步驟。

  1. 將滑鼠游標暫留在任何指標圖形上，檢視調用詳細資訊。可以選擇警示圖示以設定 Alarms，監控應用程式品質和效能。

  2. 在 ModelID 下拉式清單下，可以選取模型 ID 來檢視對應的指標。

  3. 選取在 CloudWatch 指標中檢視，檢視 CloudWatch 下的儀表板指標。

  4. 選取期間覆寫調整指標時間範圍 (例如 1 分鐘、1 小時或 6 小時)。

  5. 在調用下，選擇請求 ID 檢視請求的詳細資訊。可以在右側窗格檢視模型調用輸入和輸出詳細資訊。

模型調用 – 請求 ID 檢視

在請求 ID 頁面的動作下拉式清單下，選擇在 Logs Insights 中檢視，檢視 CloudWatch 中的日誌。如需詳細資訊，請參閱使用 CloudWatch Logs Insights 分析日誌資料。