View a markdown version of this page

应用程序推理配置文件 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

应用程序推理配置文件

应用程序推理配置文件 (AIPs) 允许您按应用程序、团队或终端节点上的 Amazon Bedrock InvokeModel和 C onverse APIs 的工作负载来归因 Amazon Bedrock 成本。bedrock-runtime每个 AIP 都是特定于模型的,并带有流向 Cost Explorer 和 AWS AWS 成本和使用情况报告 (CUR 2.0) 的成本分配标签。

对于在bedrock-mantle终端上使用 “响应” 和 “聊天完成” 的工作负载,请Projects改用。

成本归因的工作原理

应用程序推理配置文件是一种引用特定 Amazon Bedrock 模型的资源。您可以创建配置文件,附加成本分配标签,然后在 API 调用中使用配置文件 ARN 代替模型 ID。个人资料的标签会附加到每个请求的账单记录中。

以下示例说明在调用 Converse API 时如何使用应用推理配置文件 ARN 代替模型 ID:

import boto3 client = boto3.client("bedrock-runtime") response = client.converse( modelId="arn:aws:bedrock:us-east-1:123456789012:inference-profile/my-team-profile", messages=[ {"role": "user", "content": [{"text": "Hello"}]} ] )

有关创建配置文件的更多信息,请参阅创建应用程序推理配置文件

查看个人资料费用

创建并标记您的个人资料后,在 AWS 账单和成本管理控制台中将标签激活为成本分配标签:

  1. 打开 B AWS illing and Cost Management 控制台。

  2. 在导航窗格中,选择 Cost allocation tags(成本分配标签)。

  3. 选择您应用于个人资料的标签。

  4. 选择激活

激活后,标签最多可能需要 24 小时才能显示在 Cost Explorer 和 CUR 中。成本分配标签不具有追溯效力。只有激活后产生的费用才会被标记。有关更多信息,请参阅激活用户定义的成本分配标签

标签激活后,您可以在以下工具中按应用程序推理特征分析 Amazon Bedrock 成本:

  • AWS C@@ ost Explorer — 按个人资料标签进行筛选,以查看一段时间内的成本趋势。按标签分组以比较不同配置文件的成本。

  • AWS 成本和使用情况报告 (CUR 2.0)-按配置文件标签查询 CUR 数据,了解订单项目成本明细。

扩展注意事项

每个应用程序推理配置文件都与一个特定的模型相关联。这意味着您需要为模型、团队和标签集的每个独特组合提供单独的个人资料。随着组织的发展,配置文件数量可能会迅速增加,尤其是在新模型版本需要新的配置文件时。

要减少配置文件扩散:

  • 推荐:Projects为了提高成本跟踪的灵活性和便捷性,请使用。

  • 在团队或成本中心级别进行标记,而不是按用户进行标记。

  • 要在不创建其他配置文件的情况下按用户进行成本归因,请使用IAM 主体归因。IAM 委托人跟踪可自动与身份级别的应用程序推断配置文件和属性成本一起使用。