Obiettivi di inferenza
Puoi aggiungere obiettivi di inferenza al tuo gateway per indirizzare il traffico LLM verso i fornitori di modelli. Il gateway funge da livello proxy LLM unificato, che consente ai client di connettersi a un singolo endpoint e di indirizzare le richieste al provider di modelli corretto in base al modello specificato nella richiesta. Gli obiettivi di inferenza forniscono routing basato su modelli, astrazione delle credenziali e governance centralizzata per il traffico LLM tra più provider.
L'aggiunta di obiettivi di inferenza al gateway è utile quando si desidera:
-
Fornisci un unico endpoint che indirizza verso più fornitori di modelli (come Amazon Bedrock, OpenAI, Anthropic o altri OpenAI-compatible servizi) senza richiedere ai client di gestire configurazioni specifiche del provider.
-
Gestione astratta delle credenziali in modo che i client si autentichino sul gateway mentre il gateway si autentichi presso i provider per loro conto.
-
Applica la governance centralizzata tramite Amazon Bedrock Guardrails e Amazon AgentCore Bedrock Policy in modo coerente a tutte le chiamate LLM indipendentemente dal provider.
-
Usa OpenAI SDK o Anthropic SDK direttamente con l'endpoint gateway, passando da un modello all'altro modificando la stringa del modello.
-
Elenca i modelli disponibili tra tutti i provider configurati tramite un unico endpoint aggregato.
I target di inferenza utilizzano la inference chiave nella configurazione di destinazione. È possibile configurare un target di inferenza in due modi:
-
Connettore: Zero-configuration configurazione per i fornitori di modelli supportati. Consigliato per la maggior parte dei casi d'uso.
-
Provider: controllo esplicito sull'endpoint, sulle mappature dei modelli e sulle operazioni. Da utilizzare quando è necessario personalizzare il comportamento di routing.
I seguenti argomenti descrivono in dettaglio ogni tipo di configurazione.
