推理在 Amazon Bedrock 中是如何运作的 - Amazon Bedrock
在不同 AWS 区域调用模型

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

推理在 Amazon Bedrock 中是如何运作的

当你向模型提交输入时，模型会预测随后可能出现的标记序列，并将该序列作为输出返回。Amazon Bedrock 使您能够使用您选择的基础模型进行推理。在运行推理时，您需要提供以下输入：

在不同 AWS 区域调用模型

当你调用模型时，你可以选择 AWS 区域 在哪个模型中调用它。您可以发出的请求的频率和大小的配额取决于区域。您可以通过在 Amazon Bedrock 服务配额中搜索以下配额来找到这些配额：

  • 每分钟的按需模型推理请求数 ${Model}

  • 每分钟按需 InvokeModel 代币 ${Model}

您也可以调用推理配置文件而不是基础模型本身。推理配置文件定义了推理配置文件可以将模型调用请求路由到的模型和一个或多个区域。通过调用包含多个区域的推理配置文件，您可以提高吞吐量。有关更多信息，请参阅 通过跨区域推理提高吞吐量。要查看您可以使用推理配置文件发出的请求的频率和大小的配额，请在 Amazon Bedrock 服务配额中搜索以下配额：

  • 的每分钟跨区域 InvokeModel 请求数 ${Model}

  • 每分钟跨区域 InvokeModel 代币 ${Model}

  • 的每分钟全球跨区域 InvokeModel 请求数 ${Model}

  • 每分钟全球跨区域 InvokeModel 代币 ${Model}

向某个区域发出的请求可以在共享相同父区域的本地区域之外处理。例如，向美国东部（弗吉尼亚北部）（us-east-1）发出的请求可以从与之关联的任何本地区域进行处理，例如美国亚特兰大（us-east-1-atl-2a）。

使用跨区域推理时，同样的原则也适用。例如，向美国AnthropicClaude 3 Haiku推理配置文件发出的请求可以在父区域位于美国的任何本地区域（例如美国西雅图（us-west-2-sea-1a）发出。向添加新的本地区域时 AWS，它们也将被添加到相应的跨区域推理终端节点。

要查看本地终端节点及其关联的父区域的列表，请参阅 L AWS ocal Zones 位置。

当您在 Amazon Bedrock 中调用跨区域推理配置文件时，您的请求来自源区域，并自动路由到该配置文件中定义的目标区域之一，从而优化性能。全球跨区域推理的目标区域配置文件包括所有商业区域。

随着更多可以处理请求的商业区域的 AWS 增加，特定模型的全球跨区域推理配置文件可能会随着时间的推移而发生变化。但是，如果推理配置文件与地理位置（例如美国、欧盟或亚太地区）相关联，则其目标区域列表将永远不会更改。 AWS 可能会创建包含新区域的新推理配置文件。您可以通过将设置 IDs 中的更改为新的推理配置文件来更新系统以使用这些推理配置文件。

注意

跨区域推理配置文件中的目标区域可以包括可选区域，这些区域是您必须在 AWS 账户 或组织级别明确启用的区域。要了解更多信息，请参阅AWS 区域 在您的账户中启用或禁用。使用跨区域推理配置文件时，您的推理请求可以路由到配置文件中的任何目标区域，即使您没有在账户中选择加入此类区域。

服务控制策略 (SCPs) 和 AWS Identity and Access Management (IAM) 策略协同工作，以控制允许跨区域推断的位置。使用 SCPs，您可以控制 Amazon Bedrock 可以使用哪些区域进行推理；使用 IAM 策略，您可以定义哪些用户或角色有权运行推理。如果您的跨区域推理配置文件中的任何目标区域被屏蔽 SCPs，则即使其他区域仍被允许，请求也会失败。为了确保跨区域推理的高效运行，您可以更新您的 SCPs 和 IAM 策略，以允许在您选择的推理配置文件中包含的所有目标区域执行所有必需的 Amazon Bedrock 推理操作（例如，bedrock:InvokeModel*或bedrock:CreateModelInvocationJob）。要了解更多信息，请参阅在多账户环境中https://aws.amazon.com/blogs/machine-learning/enable-amazon-bedrock-cross-region-inference-in-multi-account-environments/启用 Amazon Bedrock 跨区域推理。