本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。
速率限制指标
速率限制条目指定了一个或多个指标，用于定义所衡量的内容和执法的时间窗口。每种指标类型对支持的周期和目标类型都有特定的限制。
请求速率限制
请求速率限制控制时间窗口内允许的 API 请求数量。
-
支持的时段：
second，minute -
支持的目标类型：所有目标类型
-
将速率设置为 0：传播完成后阻止所有匹配的请求（最多 30 秒）
在将请求转发到目标之前，会同步评估请求速率限制。
代币速率限制
代币速率限制控制时间窗口内消耗的代币数量（输入+输出）。代币速率限制仅适用于推理目标。
-
支持的时段：
minute -
支持的目标类型：仅限推理目标（连接器目标和具有已知推理路径的提供者目标）
-
已知的推理路径：
/v1/chat/completions，，/v1/messages/v1/responses
代币利率限制使用基于预算的执法：
-
在转发请求之前，网关会估算输入令牌的使用量。
-
实际令牌数（输入 + 输出）将在响应完成后记录。
-
由于响应延迟，在执法赶上之前，预算可能会暂时超过配置的费率。
注意
对于直播聊天完成请求 (/v1/chat/completions)，网关会自动"stream_options": {"include_usage": true}添加到请求正文中。当代币速率限制处于活动状态且该选项尚不存在时，就会发生这种情况。它确保流式响应中提供准确的代币数量，以执行 TPM。
连接速率限制
连接速率限制控制在任何给定时间允许的并发进行中请求的数量。从接受到响应完成，每个请求都会占用一个连接时段。如果新请求到达且活动连接数已达到配置的限制，则该请求将被拒绝，并发出 HTTP 429 响应。
-
支持的时段：
second -
支持的目标类型：所有目标类型（MCP、HTTP、推理）
-
测量：最大并发飞行中请求数
指标限制
| 指标 | 支持的周期 | 支持的目标 |
|---|---|---|
|
|
|
全部 |
|
|
|
仅限推理目标（连接器、具有已知路径的提供商） |
|
|
|
全部 |
综合指标
单个速率限制条目可以指定多个指标。当一个条目有多个指标时，将独立评估所有指标——如果有任何单个指标超过其限制，则请求会受到限制。
以下示例显示了强制执行每分钟请求数和每分钟令牌的速率限制：
{ "rateLimitId": "inference-rps-and-tpm", "dimensionKeys": ["targetName", "$.context.jwt.sub"], "entries": [ { "dimensions": { "targetName": "my-inference-target", "$.context.jwt.sub": "*" }, "requests": [{"rate": 300, "period": "minute"}], "tokens": [{"rate": 50000, "period": "minute"}] } ] }
在此示例中，如果每个调用者超过每分钟 300 个请求或每分钟 50,000 个令牌my-inference-target，则以先达到的限制为准。
