了解 Amazon Bedrock 中的智能提示路由
Amazon Bedrock 智能提示路由提供了单个无服务器端点，可在同一模型系列内的不同基础模型之间高效路由请求。它可以针对每个请求动态预测每个模型的响应质量，然后将请求路由到响应质量最好的模型。这有助于优化响应质量和成本。
智能提示路由支持的区域和模型
以下模型支持智能提示路由：
| 提供商 | 模型 | 支持基础模型的区域 | 支持推理配置文件的区域 |
|---|---|---|---|
| Amazon | Nova Lite |
us-east-1 us-gov-west-1 |
us-east-1 us-east-2 us-west-2 ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 |
| Amazon | Nova Pro |
us-east-1 us-gov-west-1 |
us-east-1 us-east-2 us-west-2 ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 |
| Anthropic | Claude 3.5 Haiku |
us-west-2 |
us-east-1 us-east-2 us-west-2 |
| Anthropic | Claude 3.5 Sonnet |
us-east-1 us-west-2 us-gov-west-1 ap-northeast-1 ap-northeast-2 eu-central-1 |
us-east-1 us-east-2 us-west-2 us-gov-east-1 ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 |
| Anthropic | Claude 3.5 Sonnet v2 |
us-west-2 ap-southeast-2 |
us-east-1 us-east-2 us-west-2 ap-northeast-1 ap-south-1 ap-southeast-2 eu-west-3 |
| Anthropic | Claude 3 Haiku |
us-east-1 us-west-2 us-gov-west-1 ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 |
us-east-1 us-east-2 us-west-2 us-gov-east-1 ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 |
| Meta | Llama 3.1 70B Instruct |
us-west-2 |
us-east-1 us-east-2 us-west-2 |
| Meta | Llama 3.1 8B Instruct |
us-west-2 |
us-east-1 us-east-2 us-west-2 |
| Meta | Llama 3.2 11B Instruct |
N/A |
us-east-1 us-east-2 us-west-2 |
| Meta | Llama 3.2 90B Instruct |
N/A |
us-east-1 us-east-2 us-west-2 |
| Meta | Llama 3.3 70B Instruct |
us-east-2 |
us-east-1 us-east-2 us-west-2 |
优势
-
优化的响应质量和成本：将提示路由到不同的基础模型，以最低的成本实现最佳响应质量。
-
简化的管理：无需复杂的编排逻辑。
-
具有前瞻性：在新模型推出后将其纳入。
默认和配置的提示路由器
使用智能提示路由时，可以使用 Amazon Bedrock 提供的默认提示路由器，也可以配置自己的提示路由器。
默认提示路由器是 Amazon Bedrock 提供的预先配置的路由系统。这些路由器具有预定义的设置，旨在与特定基础模型直接配合使用。它们提供了简单易用的解决方案，无需配置任何路由设置。在开始使用智能提示路由时，建议您尝试使用 Amazon Bedrock 提供的默认路由器。在预览版阶段，您可以选择使用 Anthropic 和 Meta 系列中的精选模型。
配置的提示路由器使您能够根据特定需求和偏好定义自己的路由配置。当您需要更好地掌控路由请求的方式以及要使用的模型时，它们更适合。配置的路由器可以根据响应质量指标和使用案例进行优化。在试用默认路由器后，您可以配置适合自己应用程序的专属路由器，在演练场中评测响应质量，然后在响应满足要求的情况下将其用于生产应用程序。
注意事项和限制
以下是 Amazon Bedrock 中的智能提示路由的考虑因素和限制。
-
智能提示路由仅针对英文提示进行了优化。
-
智能提示路由无法根据特定于应用程序的性能数据调整路由决策或响应。
-
智能提示路由并非总是能为独有或特殊的使用案例提供最佳路由。路由的有效性取决于初始训练数据。
提示路由器标准和备用模型
在配置提示路由器时，您可以指定路由标准，该标准用于根据响应质量差异来决定选择哪种模型用于处理请求。使用此标准来确定备用模型的响应应与其他模型的响应相近的程度。
备用模型
选择适合您的请求的备用模型。该模型用作可靠的基准。然后，您可以选择其他模型，通过与备用模型相比来提高准确率或降低成本。备用模型充当锚点，而路由标准根据响应质量差异确定何时切换到另一个模型。
响应质量差异
响应质量差异用于衡量备用模型与其他模型的响应之间的差异。值较小表示响应相似。值较高表示备用模型与其他模型之间的响应存在显著差异。
例如，10% 的响应质量差异意味着，假设备用模型 Claude Haiku3 的响应质量为 10%，那么仅当另一个模型（比如 Claude Sonnet3）的响应质量比 Claude Haiku3 的响应高 10% 时，路由器才会切换到后一个模型。
智能提示路由的工作方式
-
模型选择和路由器配置
选择要用于应用程序的模型系列。如果您使用的是默认提示路由器，则可以从 Anthropic 或 Meta 系列的模型中进行选择。如果您使用的是配置的提示路由器，则可以从其他模型中进行选择并配置路由标准。有关更多信息，请参阅 如何使用智能提示路由。
-
传入请求分析
对于每个传入请求，系统都会分析提示以了解其内容和上下文。
-
响应质量预测
Amazon Bedrock 会根据提示，预测所选系列中每个指定模型的响应质量。如果您配置了提示路由器，该路由器会将路由标准（即响应质量差异）纳入考量，如果未满足标准，它会将请求路由到您的指定备用模型。
-
模型选择和请求转发
根据响应质量预测，Amazon Bedrock 可针对特定请求，动态选择可提供最佳响应质量和成本组合的模型。该请求随后会被转发到所选模型进行处理。
-
响应处理
系统会检索来自所选模型的响应并将其返回给用户。该响应包含有关用于处理请求的模型的信息。
如何使用智能提示路由
要开始使用智能提示路由，请使用 Amazon Bedrock 控制台、AWS CLI 或 AWS SDK。
注意
为了充分利用智能提示路由，您应该定期检查性能来利用新模型。要优化您的使用，请监控可用的性能和成本指标。
后续章节将介绍如何从控制台和 CLI 使用此功能。配置提示路由器后，Amazon Bedrock 将执行智能提示路由的工作方式中所述的步骤，从所选路由器中的一个模型生成响应。
