本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。
推理目标
您可以向网关添加推理目标，以将 LLM 流量路由到模型提供商。网关充当统一的 LLM 代理层，允许客户端连接到单个端点，并根据请求中指定的模型将请求路由到正确的模型提供商。推理目标为跨多个提供商的 LLM 流量提供基于模型的路由、凭据抽象和集中管理。
当你想做以下事情时，向网关添加推理目标很有用：
-
提供可路由到多个模型提供商（例如 Amazon Bedrock、OpenAI、Anthropic 或其他 OpenAI-compatible 服务）的单一终端节点，无需客户管理提供商特定的配置。
-
抽象的凭据管理，这样客户端就可以向网关进行身份验证，而网关代表他们向提供商进行身份验证。
-
通过亚马逊 Bedrock Guardrails 和 Amazon Bedrock P AgentCore olicy 对所有 LLM 调用始终如一地应用集中治理，无论提供商是谁。
-
直接在网关端点中使用 OpenAI SDK 或 Anthropic SDK，通过更改模型字符串在模型之间切换。
-
通过单个聚合端点列出所有已配置提供商的可用模型。
推理目标使用目标配置中的inference密钥。您可以通过以下两种方式之一配置推理目标：
-
连接器 — 为支持的模型提供商 Zero-configuration 设置。推荐用于大多数使用案例。
-
提供商 -对端点、模型映射和操作的明确控制。在需要自定义路由行为时使用。
以下主题详细描述了每种配置类型。
