推論ターゲット
ゲートウェイに推論ターゲットを追加して、LLM トラフィックをモデルプロバイダーにルーティングできます。ゲートウェイは統合 LLM プロキシレイヤーとして機能し、クライアントは単一のエンドポイントに接続し、リクエストで指定されたモデルに基づいてリクエストを正しいモデルプロバイダーにルーティングできます。推論ターゲットは、複数のプロバイダーにわたる LLM トラフィックのモデルベースのルーティング、認証情報の抽象化、一元化されたガバナンスを提供します。
ゲートウェイに推論ターゲットを追加すると、次の場合に便利です。
-
クライアントがプロバイダー固有の設定を管理することなく、複数のモデルプロバイダー (Amazon Bedrock、OpenAI、Anthropic、またはその他の OpenAI 互換サービスなど) にルーティングする単一のエンドポイントを提供します。
-
認証情報管理を抽象化して、クライアントがゲートウェイを認証し、ゲートウェイがユーザーに代わってプロバイダーを認証できるようにします。
-
Amazon Bedrock ガードレールと Amazon Bedrock AgentCore ポリシーを通じて一元化されたガバナンスを、プロバイダーに関係なくすべての LLM コールに一貫して適用します。
-
OpenAI SDK または Anthropic SDK をゲートウェイエンドポイントで直接使用し、モデル文字列を変更してモデルを切り替えます。
-
単一の集約エンドポイントを介して、すべての設定済みプロバイダーで使用可能なモデルを一覧表示します。
推論ターゲットは、ターゲット設定で inferenceキーを使用します。推論ターゲットは、次の 2 つの方法のいずれかで設定できます。
-
コネクタ – サポートされているモデルプロバイダーの設定なし。ほとんどのユースケースに推奨されます。
-
プロバイダー – エンドポイント、モデルマッピング、オペレーションを明示的に制御します。ルーティング動作をカスタマイズする必要がある場合は、 を使用します。
以下のトピックでは、各設定タイプについて詳しく説明します。
