추론 대상
게이트웨이에 추론 대상을 추가하여 LLM 트래픽을 모델 공급자로 라우팅할 수 있습니다. 게이트웨이는 통합 LLM 프록시 계층 역할을 하므로 클라이언트가 단일 엔드포인트에 연결하고 요청에 지정된 모델에 따라 올바른 모델 공급자에게 요청을 라우팅할 수 있습니다. 추론 대상은 여러 공급자의 LLM 트래픽에 대한 모델 기반 라우팅, 자격 증명 추상화 및 중앙 집중식 거버넌스를 제공합니다.
게이트웨이에 추론 대상을 추가하는 것은 다음과 같은 경우에 유용합니다.
-
클라이언트가 공급자별 구성을 관리할 필요 없이 여러 모델 공급자(예: Amazon Bedrock, OpenAI, Anthropic 또는 기타 OpenAI 호환 서비스)로 라우팅하는 단일 엔드포인트를 제공합니다.
-
게이트웨이가 공급자를 대신하여 인증하는 동안 클라이언트가 게이트웨이에 인증하도록 자격 증명 관리를 추상화합니다.
-
Amazon Bedrock Guardrails 및 Amazon Bedrock AgentCore 정책을 통해 중앙 집중식 거버넌스를 공급자에 관계없이 모든 LLM 호출에 일관되게 적용합니다.
-
게이트웨이 엔드포인트와 함께 OpenAI SDK 또는 Anthropic SDK를 직접 사용하여 모델 문자열을 변경하여 모델 간에 전환합니다.
-
단일 집계 엔드포인트를 통해 구성된 모든 공급자에서 사용 가능한 모델을 나열합니다.
추론 대상은 대상 구성에서 inference 키를 사용합니다. 다음 두 가지 방법 중 하나로 추론 대상을 구성할 수 있습니다.
-
커넥터 - 지원되는 모델 공급자에 대한 제로 구성 설정입니다. 대부분의 사용 사례에 권장됩니다.
-
공급자 - 엔드포인트, 모델 매핑 및 작업에 대한 명시적 제어입니다. 라우팅 동작을 사용자 지정해야 하는 경우를 사용합니다.
다음 주제에서는 각 구성 유형에 대해 자세히 설명합니다.
