Amazon Bedrock 中推理的工作原理 - Amazon Bedrock
调用不同 AWS 区域的模型

Amazon Bedrock 中推理的工作原理

向模型提交输入时，模型可以预测接下来的词元序列，并将该序列作为输出返回。借助 Amazon Bedrock，您可以使用所选的基础模型运行推理。在运行推理时，您需要提供以下输入：

调用不同 AWS 区域的模型

在调用模型时，您可以选择要在其中调用该模型的 AWS 区域。您可以发出的请求的频率和大小的配额取决于所选区域。您可以在 Amazon Bedrock 服务配额中搜索以下配额：

  • ${Model} 每分钟的按需模型推理请求数

  • ${Model} 的按需 InvokeModel 每分钟词元数

您也可以调用推理配置文件，而不用调用基础模型本身。推理配置文件定义了一个模型以及该配置文件可以将模型请求路由到的一个或多个区域。通过调用包含多个区域的推理配置文件，您可以提高吞吐量。有关更多信息，请参阅 通过跨区域推理提高吞吐量。要查看您可以使用推理配置文件发出请求的频率和大小的配额，请在 Amazon Bedrock 服务配额中搜索以下配额：

  • ${Model} 的跨区域 InvokeModel 每分钟请求数

  • ${Model} 的跨区域 InvokeModel 每分钟词元数

  • ${Model} 每分钟的全局跨区域 InvokeModel 请求数

  • ${Model} 的全局跨区域 InvokeModel 每分钟词元数

向某个区域发出的请求可以在共享相同父区域的本地区域之外处理。例如，向美国东部（弗吉尼亚州北部）（us-east-1）发出的请求可以在与之关联的任何本地区域之外处理，例如美国亚特兰大（us-east-1-atl-2a）。

使用跨区域推理时，同样的原则也适用。例如，向美国 Anthropic Claude 3 Haiku 推理配置文件发出的请求，可以在父区域位于美国的任何本地区域 [例如美国西雅图（us-west-2-sea-1a）] 进行处理。向 AWS 添加新的本地区域时，也会将这些区域添加到相应的跨区域推理端点。

要查看本地端点及其关联的父区域的列表，请参阅 AWS 本地区域站点。

当您在 Amazon Bedrock 中调用跨区域推理配置文件时，您的请求来自源区域，该请求会自动路由到该配置文件中定义的目标区域之一，并对性能进行优化。全局跨区域推理配置文件的目标区域包括所有商业区域。

随着 AWS 添加更多可以处理请求的商业区域，特定模型的全球跨区域推理配置文件会随着时间推移而发生变化。但是，如果推理配置文件与地理位置（例如美国、欧盟或亚太地区）相关联，其目标区域列表将永远不会更改。AWS 可能会创建包含新区域的新推理配置文件。您可以通过将设置中的 ID 更改为新 ID 来更新系统，以使用这些推理配置文件。

注意

跨区域推理配置文件中的目标区域可以包括可选区域，这些区域是您必须在 AWS 账户 或组织级别明确启用的区域。欲了解更多信息，请参阅在您的账户中启用或禁用 AWS 区域。使用跨区域推理配置文件时，您的推理请求可以路由到配置文件中的任何目标区域，即使您没有在账户中选择加入此类区域也是如此。

服务控制策略（SCP）和 AWS Identity and Access Management（IAM）策略协同工作，控制可以在哪些区域运行跨区域推理。使用 SCP 时，您可以控制 Amazon Bedrock 可以使用哪些区域进行推理；使用 IAM 策略时，您可以定义哪些用户或角色有权运行推理。如果跨区域推理配置文件中的任何目标区域在您的 SCP 中被屏蔽，则即使其他区域仍然获得允许，请求也会失败。为了确保高效使用跨区域推理，您可以更新您的 SCP 和 IAM 策略，以便在所选推理配置文件中包含的所有目标区域，允许执行所有必需的 Amazon Bedrock 推理操作（例如 bedrock:InvokeModel* 或 bedrock:CreateModelInvocationJob）。要了解更多信息，请参阅 https://aws.amazon.com/blogs/machine-learning/enable-amazon-bedrock-cross-region-inference-in-multi-account-environments/ 在多账户环境中启用 Amazon Bedrock 跨区域推理。