View a markdown version of this page

将模型推理请求路由到各处 AWS 区域 使用跨区域推断 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

将模型推理请求路由到各处 AWS 区域 使用跨区域推断

通过跨区域推理,您可以选择与特定地理位置(例如美国或欧盟)相关的跨区域推理配置文件或全球推理概况。当您选择与特定地理位置相关的推理配置文件时,Amazon Bedrock 会自动选择该地理区域 AWS 区域 内的广告来处理您的推理请求。借助全球推理概况,Amazon Bedrock 会自动选择广告 AWS 区域 来处理请求。

两种类型的跨区域推理都是通过推理配置文件进行的推理配置文件定义了基础模型 (FM) 以及请求可以 AWS 区域 路由到的目标。 Cross-Region 推理通过在不同的 AWS 区域网络上使用计算来路由您的请求。

要提高模型的吞吐量,您可以购买预置吞吐量。推理配置文件目前不支持预调配吞吐量。

要查看可以使用推理配置文件运行跨区域推理的区域和模型,请参阅支持推理配置文件的区域和模型

在地理和全球跨区域推理之间进行选择

Amazon Bedrock 提供两种类型的跨区域推理配置文件,每种配置文件都针对不同的用例和合规性要求而设计:

功能 地理推 Cross-Region 断 全球推 Cross-Region 断 建议
数据驻留 在地理边界内(例如美国、欧盟和亚太地区) 全球任何支持的 AWS 商业区域 选择地理位置以满足合规性要求
请求路由 在地理区域内路线 遍布全球 根据可以处理请求的地点进行选择
成本 标准定价 节省大约 10% 选择 Global 进行成本优化
SCP 要求 允许配置文件中的所有目标区域 允许 "aws:RequestedRegion": "unspecified" 根据您的组织策略进行配置
最适合 有数据驻留法规的组织 组织优先考虑成本优化 评估您的合规性和成本需求

如果您有数据驻留要求且需要确保数据处理保持在特定的地理边界内,请选择跨区域地理推理。如果您想在不受地域限制的情况下节省成本,请选择全球跨区域推理。

一般注意事项

请注意以下有关跨区域推理的信息:

  • 使用跨区域推理不会产生额外的路由成本。价格是根据您调用推理配置文件的区域计算得出的。有关定价的信息,请参阅 Amazon Bedrock 定价

  • Cross-Region 推理可以将请求路由到未 AWS 区域 在您的 AWS 账户中手动启用的请求。无需手动启用区域即可实现跨区域推理。

  • 跨区域操作期间传输的所有数据都保留在 AWS 网络上,不会通过公共互联网。数据在两者之间传输时经过加密 AWS 区域。

  • CloudTrail 记录您的源区域中的所有跨区域推理请求。查找该additionalEventData.inferenceRegion字段以确定请求的处理地点。

  • AWS 由亚马逊 Bedrock 提供支持的服务也可以使用 CRIS。有关详细信息,请参阅特定于服务的文档。