本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。
速率限制指標
速率限制項目會指定一或多個指標，以定義正在測量的項目和強制執行的時間範圍。每個指標類型對支援的期間和目標類型都有特定限制。
請求速率限制
請求速率限制控制一個時段內允許的 API 請求數量。
-
支援的期間：
second、minute -
支援的目標類型：所有目標類型
-
將速率設定為 0：傳播完成後封鎖所有相符的請求 （最多 30 秒）
在請求轉送到目標之前，請求速率限制會同步評估。
字符速率限制
字符速率限制可控制某個時段內消耗的字符數量 （輸入 + 輸出）。字符速率限制僅適用於推論目標。
-
支援的期間：
minute -
支援的目標類型：僅限推論目標 （具有已知推論路徑的連接器目標和提供者目標）
-
已知推論路徑：
/v1/chat/completions、/v1/messages、/v1/responses
字符率限制使用以預算為基礎的強制執行：
-
閘道會在轉送請求之前預估輸入字符用量。
-
實際字符計數 （輸入 + 輸出） 會在回應完成後記錄。
-
由於回應延遲，預算可能會在強制執行追上進度之前暫時超過設定的速率。
注意
對於串流聊天完成請求 (/v1/chat/completions)，閘道會自動"stream_options": {"include_usage": true}新增至請求內文。當字符速率限制處於作用中狀態且 選項尚未存在時，就會發生這種情況。它可確保在 TPM 強制執行的串流回應中提供準確的字符計數。
連線速率限制
連線速率限制會控制任何指定時間允許的並行傳輸中請求數量。每個請求都會從接受開始佔用連線插槽，直到回應完成為止。如果收到新的請求，且作用中連線的數量已達到設定的限制，則會使用 HTTP 429 回應拒絕請求。
-
支援的期間：
second -
支援的目標類型：所有目標類型 (MCP、HTTP、推論）
-
測量：同時處理中的請求上限
指標限制條件
| 指標 | 支援的期間 | 支援的目標 |
|---|---|---|
|
|
|
全部 |
|
|
|
僅限推論目標 （連接器、具有已知路徑的提供者） |
|
|
|
全部 |
合併指標
單一速率限制項目可以指定多個指標。當項目有多個指標時，會獨立評估所有指標，如果任何單一指標超過其限制，則會調節請求。
下列範例顯示速率限制，可強制執行每分鐘請求數和每分鐘字符數：
{ "rateLimitId": "inference-rps-and-tpm", "dimensionKeys": ["targetName", "$.context.jwt.sub"], "entries": [ { "dimensions": { "targetName": "my-inference-target", "$.context.jwt.sub": "*" }, "requests": [{"rate": 300, "period": "minute"}], "tokens": [{"rate": 50000, "period": "minute"}] } ] }
在此範例中，如果每個呼叫者每分鐘超過 300 個請求，或每分鐘超過 50，000 個字符，則會調節至 my-inference-target，以先達到限制者為準。
