计算运行自定义模型的成本 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

计算运行自定义模型的成本

使用导入 Amazon Bedrock 的自定义模型进行推理需要付费。使用以下信息估算运行自定义模型的成本。

自定义模型单位(CMU)是 Amazon Bedrock 托管自定义模型的单个副本所需的硬件利用率的抽象视图。模型副本表示已准备好处理推理请求的导入模型的单个实例。Amazon Bedrock 可确定导入自定义模型时模型副本所需的自定义模型单位数量。随着推理需求的变化,Amazon Bedrock 可以增加或减少正在运行的模型副本的数量。

您可以通过以下公式使用 CMU 来估算运行自定义模型的成本。

总成本 = 正在运行的模型副本数 × 每个副本的 CMU 数量 × 每个 CMU 每分钟的费率 x [(5 分钟窗口数)/60]

  • 正在运行的模型副本数 – 从 Amazon CloudWatch 中的 ModelCopy 指标中获取。

  • 每个副本的 CMU 数量 – 从 Amazon Bedrock 详情页面的模型详情页面获取值。或者,调用 GetImportedModel 操作,并从 customModelUnitsPerModelCopy 字段获取每个副本的 CMU 数量。

  • 每个 CMU 每分钟的费率 — 从 Amazon Bedrock 控制台的模型详细信息页面获取自定义模型单位版本。或者,调用 GetImportedModel 操作,并从 customModelUnitsVersion 字段获取自定义模型单位版本。

    然后,在 Amazon Bedrock 定价页面的自定义模型导入部分获取模型版本(自定义模型单位版本)的费率(每个自定义模型单位每分钟的价格*)。

从第一次推理调用成功起,对 5 分钟计费窗口计费。

有关更多信息,请参阅 Amazon Bedrock 定价