使用推理配置文件设置模型调用资源

追踪使用情况指标 – 设置 CloudWatch 日志，并使用应用程序推理配置文件提交模型调用请求，以收集模型调用的使用情况指标。在查看有关推理配置文件的信息时，您可以检查这些指标，并将其用于为您的决策提供依据。有关如何设置 CloudWatch 日志的更多信息，请参阅使用 CloudWatch 日志和 Amazon S3 监控模型调用。

使用标签监控成本 – 在提交按需模型调用请求时，将标签附加到应用程序推理配置文件以追踪成本。有关如何将标签用于成本分配的更多信息，请参阅《AWS Billing用户指南》中的使用 AWS 成本分配标签规划和追踪成本。

跨区域推理 – 使用包含多个 AWS 区域的推理配置文件来提高吞吐量。推理配置文件将在这些区域之间分配模型调用请求，以提高吞吐量和性能。有关跨区域推理的更多信息，请参阅通过跨区域推理提高吞吐量.

跨区域（系统定义）推理配置文件 – Amazon Bedrock 中预定义的推理配置文件，包括模型请求可以路由至的多个区域。

应用程序推理配置文件 – 用户为追踪成本和模型使用情况而创建的推理配置文件。您可以创建推理配置文件，将模型调用请求路由至一个或多个区域：

模型推理 – 在运行模型调用时使用推理配置文件，方法是通过 Amazon Bedrock 控制台在演练场中选择推理配置文件，或在调用 InvokeModel、InvokeModelWithResponseStream、Converse 和 ConverseStream 操作时指定推理配置文件的 ARN。有关更多信息，请参阅使用模型推理提交提示并生成响应。

知识库向量嵌入和响应生成 – 在查询知识库后生成响应时，或在解析数据来源中的非文本信息时，可以使用推理配置文件。有关更多信息，请参阅利用查询和响应测试知识库和数据来源的解析选项。

模型评测 – 在提交模型评测作业时，可以将推理配置文件作为模型进行评测。有关更多信息，请参阅评测 Amazon Bedrock 资源的性能。

提示管理器 – 为在提示管理器中创建的提示生成响应时，可以使用推理配置文件。有关更多信息，请参阅在 Amazon Bedrock 中使用提示管理器构建和存储可重复使用的提示。

流 – 为在流的提示节点内定义的内联提示生成响应时，可以使用推理配置文件。有关更多信息，请参阅使用 Amazon Bedrock 流构建端到端生成式人工智能工作流。