本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
通过跨区域推理提高吞吐量
使用跨区域推理时,您可以选择与特定地理位置(例如美国或欧洲)关联的跨区域推理配置文件,也可以选择全球推理配置文件。当您选择与特定地理位置相关的推理配置文件时,Amazon Bedrock 会自动选择该地理区域AWS 区域内的最佳商业信息来处理您的推理请求。使用全球推理配置文件时,Amazon Bedrock 会自动选择优异的商业 AWS 区域来处理请求,从而优化可用资源并提高模型吞吐量。
这两种类型的跨区域推理都通过推理配置文件起作用,推理配置文件定义了基础模型 (FM) 和可以将请求AWS 区域路由到哪里。在按需模式下运行模型推理时,您的请求可能会受到服务配额的限制或在高峰使用时间受到限制。跨区域推理使您能够通过利用跨不同区域的计算来无缝管理计划外的流量爆发。AWS 区域
您还可以通过购买预调配吞吐量来增加模型的吞吐量。推理配置文件目前不支持预调配吞吐量。
要查看可以使用推理配置文件运行跨区域推理的区域和模型,请参阅支持推理配置文件的区域和模型。
在地理和全球跨区域推理之间进行选择
Amazon Bedrock 提供两种类型的跨区域推理配置文件,每种配置文件均针对不同的用例和合规性要求而设计:
| 功能 | 地理跨区域推理 | 全球跨区域推理 | 建议 |
|---|---|---|---|
| 数据驻留 | 在地理范围内(美国、欧盟、亚太地区等) | 全球任何受支持的AWS商业区域 | 选择地理位置以满足合规性要求 |
| 吞吐量 | 高于单一区域 | 可用的最高值 | 选择 “全局” 以获得最佳性能 |
| 成本 | 标准定价 | 节省大约 10% | 选择 “全球” 进行成本优化 |
| SCP 要求 | 允许配置文件中的所有目标区域 | 允许 "aws:RequestedRegion": "unspecified" |
根据您的组织策略进行配置 |
| 最适合 | 有数据驻留法规的组织 | 优先考虑成本和性能的组织 | 评估您的合规和绩效需求 |
如果您有数据驻留要求并且需要确保数据处理保持在特定的地理边界内,请选择地理跨区域推理。如果您想在不受地理限制的情况下最大限度地提高吞吐量并节省成本,请选择全球跨区域推理。
一般注意事项
请注意以下有关跨区域推理的信息:
-
使用跨区域推理不会产生额外的路由成本。价格是根据您调用推理配置文件的区域计算得出的。有关定价的信息,请参阅 Amazon Bedrock 定价
。 -
跨区域推理可以将请求路由到您AWS 区域中未手动启用的区域。AWS 账户跨区域推理无需手动启用区域即可起作用。
-
跨区域操作期间传输的所有数据都保留在AWS网络上,不会通过公共互联网。数据在两者之间传输时会被加密AWS 区域。
-
所有跨区域推理请求都将 CloudTrail 登录到您的源区域。查找该
additionalEventData.inferenceRegion字段以确定请求的处理位置。 -
AWS由 Amazon Bedrock 提供支持的服务也可能使用 CRIS。有关详细信息,请参阅特定于服务的文档。