Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Obiettivi di inferenza
Puoi aggiungere target di inferenza al tuo gateway per indirizzare il traffico LLM ai fornitori di modelli. Il gateway funge da livello proxy LLM unificato, consentendo ai clienti di connettersi a un singolo endpoint e indirizzare le richieste al fornitore di modelli corretto in base al modello specificato nella richiesta. Gli obiettivi di inferenza forniscono routing basato su modelli, astrazione delle credenziali e governance centralizzata per il traffico LLM tra più provider.
L'aggiunta di obiettivi di inferenza al gateway è utile quando si desidera:
-
Fornisci un unico endpoint che si instrada verso più fornitori di modelli (come Amazon Bedrock, OpenAI, Anthropic o altri OpenAI-compatible servizi) senza richiedere ai clienti di gestire le configurazioni specifiche del fornitore.
-
Gestione astratta delle credenziali in modo che i clienti si autentichino al gateway mentre il gateway si autentichi presso i provider per loro conto.
-
Applica la governance centralizzata tramite Amazon Bedrock Guardrails e Amazon Bedrock AgentCore Policy in modo coerente a tutte le chiamate LLM indipendentemente dal provider.
-
Usa OpenAI SDK o Anthropic SDK direttamente con l'endpoint del gateway, passando da un modello all'altro modificando la stringa del modello.
-
Elenca i modelli disponibili tra tutti i provider configurati tramite un unico endpoint aggregato.
Gli obiettivi di inferenza utilizzano la inference chiave nella configurazione del target. È possibile configurare un target di inferenza in due modi:
-
Connettore: Zero-configuration configurazione per i fornitori di modelli supportati. Consigliato per la maggior parte dei casi d'uso.
-
Provider: controllo esplicito sull'endpoint, sulle mappature dei modelli e sulle operazioni. Da utilizzare quando è necessario personalizzare il comportamento di routing.
Gli argomenti seguenti descrivono in dettaglio ogni tipo di configurazione.
