推理目标
您可以向网关添加推理目标，将 LLM 流量路由到模型提供商。网关充当统一的 LLM 代理层，允许客户端连接到单个端点，并根据请求中指定的模型将请求路由到正确的模型提供商。推理目标为跨多个提供商的 LLM 流量提供基于模型的路由、凭证抽象和集中管理。
当你想做以下事情时，向网关添加推理目标非常有用：
-
提供一个可以路由到多个模型提供商（例如 Amazon Bedrock、OpenAI、Anthropic OpenAI-compatible 或其他服务）的终端节点，而无需客户端管理特定于提供商的配置。
-
抽象凭据管理，以便客户端向网关进行身份验证，而网关则代表他们向提供商进行身份验证。
-
通过 Amazon Bedrock Guardrails 和 Amazon Bedrock AgentCore 政策在所有法学硕士通话中始终如一地应用集中式治理，无论提供商是谁。
-
直接将 OpenAI SDK 或 Anthropic SDK 与网关端点一起使用，通过更改模型字符串在模型之间切换。
-
通过单个聚合端点列出所有已配置提供商的可用模型。
推理目标使用目标配置中的inference密钥。您可以通过以下两种方式之一配置推理目标：
-
连接器-为支持的模型提供者进行 Zero-configuration 设置。推荐用于大多数使用案例。
-
提供者-对端点、模型映射和操作的显式控制。在需要自定义路由行为时使用。
以下主题详细描述了每种配置类型。
