Objetivos de inferencia
Puede añadir objetivos de inferencia a su puerta de enlace para enrutar el tráfico de LLM a los proveedores de modelos. La puerta de enlace actúa como una capa proxy LLM unificada, lo que permite a los clientes conectarse a un único punto final y enrutar las solicitudes al proveedor de modelos correcto en función del modelo especificado en la solicitud. Los objetivos de inferencia proporcionan un enrutamiento basado en modelos, una abstracción de credenciales y una gobernanza centralizada para el tráfico de LLM entre varios proveedores.
Añadir objetivos de inferencia a su puerta de enlace resulta útil cuando quiere:
-
Proporcione un único punto final que se dirija a varios proveedores de modelos (como Amazon Bedrock, OpenAI, Anthropic u OpenAI-compatible otros servicios) sin que los clientes tengan que gestionar las configuraciones específicas del proveedor.
-
Gestión abstracta de credenciales para que los clientes se autentiquen en la pasarela mientras la pasarela se autentica ante los proveedores en su nombre.
-
Aplique una gobernanza centralizada a través de Amazon Bedrock Guardrails y Amazon Bedrock AgentCore Policy de manera uniforme en todas las llamadas de LLM, independientemente del proveedor.
-
Utilice el SDK de OpenAI o el SDK de Anthropic directamente con el punto final de la puerta de enlace y cambie de un modelo a otro cambiando la cadena del modelo.
-
Enumere los modelos disponibles en todos los proveedores configurados a través de un único punto final agregado.
Los objetivos de inferencia utilizan la inference clave en la configuración del objetivo. Puede configurar un objetivo de inferencia de dos maneras:
-
Conector: Zero-configuration configuración para los proveedores de modelos compatibles. Se recomienda para la mayoría de los casos de uso.
-
Proveedor: control explícito sobre el punto final, las asignaciones de modelos y las operaciones. Úselo cuando necesite personalizar el comportamiento de enrutamiento.
En los temas siguientes se describe cada tipo de configuración en detalle.
