本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
预调配吞吐量
为模型配置预调配吞吐量时,您将以固定成本获得一定水平的吞吐量。
您可以将预调配吞吐量与 Amazon 和第三方基础模型以及自定义模型一起使用。
预调配吞吐量的定价因您使用的模型和选择的承诺级别而异。如果您承诺的时间段较长,则可以享受折扣费率。有关每种模型的定价的详细信息,请参阅 Amazon Bedrock 控制台中的模型提供商
根据您是针对基础模型还是自定义模型运行推理,您的模型吞吐量选项会有所不同。
注意
在该 AWS GovCloud (US) 地区,您只能为自定义模型购买预置吞吐量,无需承诺。
定价选项 | 基础模型 | 自定义模型 |
---|---|---|
预调配吞吐量,无承诺用量(按小时定价) | 不可用 | 可用(每个账户最多 2 个预调配吞吐量) |
预调配吞吐量,承诺使用 1 个月 | 可用 | Available |
预调配吞吐量,承诺使用 6 个月 | 可用 | Available |
您可以用模型单位 (MU) 指定预调配吞吐量。模型单位为指定模型提供特定的吞吐量级别。给定文本模型的 MU 吞吐量级别指定以下各项:
每分钟输入令牌总数 — MU 在一分钟内可以针对所有请求处理的输入令牌数量。
每分钟输出令牌总数 — MU 在一分钟内可以针对所有请求处理的输出令牌数量。
模型单位配额取决于您为预调配吞吐量指定的承诺级别。
-
对于没有承诺用量的自定义模型,每个预调配吞吐量都有模型单位配额。最多可为每个账户创建两个预调配吞吐量。
-
对于带有承诺用量的基础模型或自定义模型,默认配额为 0 个模型单位。要请求增加配额,请使用限额上调表
。