推論目標
您可以將推論目標新增至閘道，將 LLM 流量路由至模型提供者。閘道做為統一的 LLM 代理層，可讓用戶端連線到單一端點，並根據請求中指定的模型，將請求路由至正確的模型提供者。推論目標為多個供應商的 LLM 流量提供以模型為基礎的路由、憑證抽象和集中式控管。
當您想要：
-
提供單一端點，路由至多個模型提供者 （例如 Amazon Bedrock、OpenAI、Anthropic 或其他 OpenAI 相容服務），而不需要用戶端管理提供者特定的組態。
-
抽象憑證管理，讓用戶端在閘道代表供應商進行身分驗證時，向閘道進行身分驗證。
-
透過 Amazon Bedrock Guardrails 和 Amazon Bedrock AgentCore 政策一致地在所有 LLM 呼叫中套用集中式控管，無論供應商為何。
-
直接搭配閘道端點使用 OpenAI SDK 或 Anthropic SDK，透過變更模型字串在模型之間切換。
-
透過單一彙總端點列出所有已設定提供者的可用模型。
推論目標在目標組態中使用 inference金鑰。您可以透過下列兩種方式之一設定推論目標：
-
連接器 – 支援模型提供者的零組態設定。建議大多數使用案例使用。
-
提供者 – 明確控制端點、模型映射和操作。當您需要自訂路由行為時使用 。
下列主題會詳細說明每個組態類型。
