Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Obiettivi del connettore di inferenza

Le destinazioni dei connettori di inferenza forniscono una configurazione preconfigurata per i fornitori di modelli supportati. Quando si utilizza un connettore, il gateway gestisce automaticamente le operazioni, l'individuazione del modello, la traduzione dell'ID del modello e la riscrittura dei percorsi in base alla conoscenza integrata dell'API del provider, quindi non è necessario specificarli manualmente.

I connettori sono consigliati quando si desidera aggiungere rapidamente un fornitore di modelli supportato senza configurare manualmente gli endpoint, le operazioni o le mappature dei modelli.

Configurazione di destinazione

La configurazione di destinazione per una destinazione del connettore di inferenza utilizza la seguente struttura:

{
    "inference": {
        "connector": {
            "source": {
                "connectorId": "bedrock-mantle"
            }
        }
    }
}

Ogni connettore fornisce valori predefiniti integrati equivalenti a una configurazione del provider completamente specificata. Ad esempio, il connettore configura automaticamentebedrock-mantle:

Creazione di un obiettivo di inferenza del connettore

L'esempio seguente mostra come creare un target di inferenza utilizzando il connettore Bedrock Mantle:

aws bedrock-agentcore-control create-gateway-target --cli-input-json '{
    "gatewayIdentifier": "GATEWAY_ID",
    "name": "bedrock-mantle",
    "targetConfiguration": {
        "inference": {
            "connector": {
                "source": {
                    "connectorId": "bedrock-mantle"
                }
            }
        }
    },
    "credentialProviderConfigurations": [
        {"credentialProviderType": "GATEWAY_IAM_ROLE"}
    ]
}'

L'esempio seguente mostra come creare un target di inferenza utilizzando il connettore OpenAI:

aws bedrock-agentcore-control create-gateway-target --cli-input-json '{
    "gatewayIdentifier": "GATEWAY_ID",
    "name": "openai",
    "targetConfiguration": {
        "inference": {
            "connector": {
                "source": {
                    "connectorId": "openai"
                }
            }
        }
    },
    "credentialProviderConfigurations": [
        {
            "credentialProviderType": "API_KEY",
            "credentialProvider": {
                "apiKeyCredentialProvider": {
                    "providerArn": "arn:aws:bedrock-agentcore:us-west-2:111122223333:token-vault/default/apikeycredentialprovider/openai-key",
                    "credentialLocation": "HEADER",
                    "credentialParameterName": "Authorization",
                    "credentialPrefix": "Bearer "
                }
            }
        }
    ]
}'

L'esempio seguente mostra come creare un target di inferenza utilizzando il connettore Anthropic:

aws bedrock-agentcore-control create-gateway-target --cli-input-json '{
    "gatewayIdentifier": "GATEWAY_ID",
    "name": "anthropic",
    "targetConfiguration": {
        "inference": {
            "connector": {
                "source": {
                    "connectorId": "anthropic"
                }
            }
        }
    },
    "credentialProviderConfigurations": [
        {
            "credentialProviderType": "API_KEY",
            "credentialProvider": {
                "apiKeyCredentialProvider": {
                    "providerArn": "arn:aws:bedrock-agentcore:us-west-2:111122223333:token-vault/default/apikeycredentialprovider/anthropic-key",
                    "credentialLocation": "HEADER",
                    "credentialParameterName": "x-api-key"
                }
            }
        }
    ]
}'

Richiamo di un target di inferenza del connettore

Per richiamare un target di inferenza, invia richieste al percorso del gateway. /inference Il gateway indirizza ogni richiesta alla destinazione corretta in base al model campo nel corpo della richiesta. Il model valore può essere un semplice ID modello (ad esempiogpt-5.5) o un ID di modello qualificato per la destinazione nel modulo {targetName}/{modelId} (ad esempioopenai/gpt-5.5). Per dettagli su come il model valore viene abbinato a un obiettivo, vedi Model-based routing.

Il formato dell'URL è:

https://{gatewayId}.gateway.bedrock-agentcore.{region}.amazonaws.com/inference/{path}

Sostituisci {path} con il percorso dell'operazione di inferenza (ad esempiov1/chat/completions,v1/responses, ov1/messages).

Utilizzo dell'SDK OpenAI

Imposta il /inference/v1 percorso del gateway come: base_url

from openai import OpenAI

client = OpenAI(
    base_url="https://<gateway-id>.gateway.bedrock-agentcore.us-west-2.amazonaws.com/inference/v1",
    api_key="<gateway-auth-token>"
)

response = client.chat.completions.create(
    model="gpt-5.5",
    messages=[{"role": "user", "content": "Hello!"}]
)

Utilizzo dell'SDK Anthropic

Imposta il /inference percorso del gateway come: base_url

import anthropic

client = anthropic.Anthropic(
    base_url="https://<gateway-id>.gateway.bedrock-agentcore.us-west-2.amazonaws.com/inference",
    api_key="<gateway-auth-token>"
)

response = client.messages.create(
    model="claude-sonnet-4-6",
    max_tokens=1024,
    messages=[{"role": "user", "content": "Hello!"}]
)

Usare awscurl

awscurl --service bedrock-agentcore --region us-west-2 -X POST \
    "https://<gateway-id>.gateway.bedrock-agentcore.us-west-2.amazonaws.com/inference/v1/chat/completions" \
    -H "Content-Type: application/json" \
    -d '{"model": "gpt-5.5", "messages": [{"role": "user", "content": "Hello!"}]}'

Elenco dei modelli disponibili

Per scoprire i modelli disponibili su tutti i target di inferenza, chiama l'endpoint dei modelli dell'elenco:

awscurl --service bedrock-agentcore --region us-west-2 \
    "https://<gateway-id>.gateway.bedrock-agentcore.us-west-2.amazonaws.com/inference/v1/models"

La risposta è nel /v1/models formato di OpenAI con gli ID dei modelli preceduti dal nome del target:

{
    "data": [
        {"id": "bedrock-mantle/anthropic.claude-opus-4-7", "object": "model", "owned_by": "system"},
        {"id": "openai/gpt-5.5", "object": "model", "owned_by": "openai"},
        {"id": "anthropic/claude-sonnet-4-6", "object": "model", "owned_by": "anthropic"}
    ]
}

Il owned_by campo indica il fornitore del modello. Il valore di system indica un modello ospitato da Amazon Bedrock, mentre openai e anthropic indica i modelli forniti direttamente da tali fornitori.

Model-based routing

Il gateway indirizza le richieste di inferenza in base al model campo nel corpo della richiesta:

Per personalizzare o sovrascrivere il target a cui viene indirizzato un modello, puoi riscrivere il model campo in un intercettore di richieste. Per ulteriori informazioni, consulta Personalizzare il routing del modello con un intercettore di richieste.

Streaming

Lo streaming segue la convenzione OpenAI SSE. Impostato "stream": true nel corpo della richiesta, il gateway passa attraverso il flusso SSE dal provider senza trasformazione:

stream = client.chat.completions.create(
    model="gpt-5.5",
    messages=[{"role": "user", "content": "Write a story."}],
    stream=True
)

for chunk in stream:
    print(chunk.choices[0].delta.content, end="")

Limiti del flusso di risposta

Senza una politica di limite dei token configurata, le risposte illimitate possono causare i seguenti problemi:

Per mitigare questi rischi, configura una politica di limite dei token sulle destinazioni del gateway. Per ulteriori informazioni, consulta le politiche del gateway.

Autorizzazione in uscita

Le destinazioni dei connettori di inferenza supportano i seguenti tipi di autorizzazione in uscita: