Amazon Bedrock 的配额 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon Bedrock 的配额

您的 Amazon Bedrock AWS 账户 有默认配额,以前称为限制。要查看 Amazon Bedrock 的服务配额,请执行以下操作之一:

为了保持服务的性能并确保适当使用 Amazon Bedrock,分配给账户的默认配额可能会根据地区因素、付款历史记录、欺诈性使用、配额增加请求的 and/or 批准进行更新。

注意

为了保持性能并确保适当使用 Amazon Bedrock,请根据账户的每分钟请求数 (RPM)、每分钟令牌 (TPM) 和每日令牌 (TPD) 的配额 AWS 限制您的使用量。默认的每日代币上限为每分钟代币* 24 * 60。但是,新版本减少 AWS 账户 了每日代币的配额。您可以按照下一节所述请求增加配额。

要查看您账户的每日代币限制,请在 “ AWS Management Console 服务配额” 页面中选择 Amazon Bedrock,然后搜索 “$ {MODEL} 每天的模型调用最大代币上限”。

请求增加 Amazon Bedrock 配额

申请增加账户配额的步骤取决于 Amazon Bedrock 服务配额中配额表中可调整列中的值:

  • 如果配额标记为 “是”,则可以按照 Service Quotas 用户指南中请求增加配额中的步骤进行调整。

  • 对于任何型号,您都可以同时申请提高以下配额:

    • 每分钟跨区域 InvokeModel 代币 ${model}

    • 的每分钟跨区域 InvokeModel 请求数 ${model}

    • 每分钟按需 InvokeModel 代币 ${model}

    • 的每分钟按需 InvokeModel 请求数 ${model}

    • 每天的模型调用最大代币数量 ${model}

    要申请增加这些配额的任意组合,请按照 Service Quotas 用户指南中请求增加${model}配额中的步骤申请增加每分钟跨区域 InvokeModel 令牌的配额。完成后,支持团队将与您联系,并为您提供增加其他四个配额的选项。

    注意

    由于需求过大,将优先考虑那些产生的流量消耗了现有配额分配的客户。如果您不符合此条件,将可能拒绝您的请求。

4 种型号的代币消耗率 AnthropicClaude

具有非标准代币消耗率的模型的推理配额。

Amazon Bedrock 模型推理配额是用两个维度来衡量的:RPM(每分钟请求数)和 TPM(每分钟令牌)。根据先发生的情况,可以在任何维度上达到配额。

耗尽率是将输入和输出令牌转换为限制系统使用的代币配额的比率。该比率表示输入和输出代币计入代币配额的比率。

大多数模型的消耗率为每 1 个输入或 1 个输出标记 1 个令牌,但 Anthropic Claude 4 个模型除外。请参阅下表,了解 Anthropic Claude 4 种燃烧率。有关亚马逊 Bedrock 中代币使用和定价的更多信息,请参阅亚马逊 Bedrock 定价。

当我们收到您的请求时,我们会使用 API 请求中指定的max_tokens值来估算代币配额的输出消耗。我们在请求完成时根据实际使用量调整输出消耗。为避免提前限制,请选择一个接近预期输出代币的max_tokens值。

模型代币非标准耗尽率

模型

输入令牌

输出令牌

Claude Opus 4

每个输入标记 1 个令牌

每个输出令牌 5 个令牌

Claude Sonnet 4

每个输入标记 1 个令牌

每个输出令牌 5 个令牌