Ziele für Inferenzkonnektoren

Ziele für Inferenzkonnektoren bieten eine vorkonfigurierte Konfiguration für unterstützte Modellanbieter. Wenn Sie einen Konnektor verwenden, verarbeitet das Gateway automatisch Operationen, die Modellerkennung, die Modell-ID-Übersetzung und das Umschreiben von Pfaden auf der Grundlage der integrierten Kenntnisse der API des Anbieters, sodass Sie sie nicht manuell angeben müssen.

Konnektoren werden empfohlen, wenn Sie schnell einen unterstützten Modellanbieter hinzufügen möchten, ohne Endpunkte, Operationen oder Modellzuordnungen manuell konfigurieren zu müssen.

Zielkonfiguration

Die Zielkonfiguration für ein Ziel eines Inferenzkonnektors verwendet die folgende Struktur:

{
    "inference": {
        "connector": {
            "source": {
                "connectorId": "bedrock-mantle"
            }
        }
    }
}

Jeder Connector bietet integrierte Standardeinstellungen, die einer vollständig spezifizierten Anbieterkonfiguration entsprechen. Der bedrock-mantle Connector konfiguriert beispielsweise automatisch:

Ein Konnektor-Inferenzziel erstellen

Das folgende Beispiel zeigt, wie ein Inferenzziel mithilfe des Bedrock Mantle-Konnektors erstellt wird:

aws bedrock-agentcore-control create-gateway-target --cli-input-json '{
    "gatewayIdentifier": "GATEWAY_ID",
    "name": "bedrock-mantle",
    "targetConfiguration": {
        "inference": {
            "connector": {
                "source": {
                    "connectorId": "bedrock-mantle"
                }
            }
        }
    },
    "credentialProviderConfigurations": [
        {"credentialProviderType": "GATEWAY_IAM_ROLE"}
    ]
}'

Das folgende Beispiel zeigt, wie Sie mit dem OpenAI-Konnektor ein Inferenzziel erstellen:

aws bedrock-agentcore-control create-gateway-target --cli-input-json '{
    "gatewayIdentifier": "GATEWAY_ID",
    "name": "openai",
    "targetConfiguration": {
        "inference": {
            "connector": {
                "source": {
                    "connectorId": "openai"
                }
            }
        }
    },
    "credentialProviderConfigurations": [
        {
            "credentialProviderType": "API_KEY",
            "credentialProvider": {
                "apiKeyCredentialProvider": {
                    "providerArn": "arn:aws:bedrock-agentcore:us-west-2:111122223333:token-vault/default/apikeycredentialprovider/openai-key",
                    "credentialLocation": "HEADER",
                    "credentialParameterName": "Authorization",
                    "credentialPrefix": "Bearer "
                }
            }
        }
    ]
}'

Das folgende Beispiel zeigt, wie ein Inferenzziel mithilfe des Anthropic-Konnektors erstellt wird:

aws bedrock-agentcore-control create-gateway-target --cli-input-json '{
    "gatewayIdentifier": "GATEWAY_ID",
    "name": "anthropic",
    "targetConfiguration": {
        "inference": {
            "connector": {
                "source": {
                    "connectorId": "anthropic"
                }
            }
        }
    },
    "credentialProviderConfigurations": [
        {
            "credentialProviderType": "API_KEY",
            "credentialProvider": {
                "apiKeyCredentialProvider": {
                    "providerArn": "arn:aws:bedrock-agentcore:us-west-2:111122223333:token-vault/default/apikeycredentialprovider/anthropic-key",
                    "credentialLocation": "HEADER",
                    "credentialParameterName": "x-api-key"
                }
            }
        }
    ]
}'

Aufrufen eines Konnektor-Inferenzziels

Um ein Inferenzziel aufzurufen, senden Sie Anfragen an den Pfad des Gateways. /inference Das Gateway leitet jede Anfrage basierend auf dem model Feld im Anfragetext an das richtige Ziel weiter. Der model Wert kann entweder eine einfache Modell-ID (z. B.gpt-5.5) oder eine zielqualifizierte Modell-ID in der Form {targetName}/{modelId} (z. B.openai/gpt-5.5) sein. Einzelheiten dazu, wie der model Wert einem Ziel zugeordnet wird, finden Sie unter Model-based Routing.

Das URL-Format ist:

https://{gatewayId}.gateway.bedrock-agentcore.{region}.amazonaws.com/inference/{path}

{path}Ersetzen Sie es durch den Pfad der Inferenzoperation (z. B.v1/chat/completions,v1/responses, oderv1/messages).

Verwenden des OpenAI SDK

Stellen Sie den /inference/v1 Pfad des Gateways wie folgt ein: base_url

from openai import OpenAI

client = OpenAI(
    base_url="https://<gateway-id>.gateway.bedrock-agentcore.us-west-2.amazonaws.com/inference/v1",
    api_key="<gateway-auth-token>"
)

response = client.chat.completions.create(
    model="gpt-5.5",
    messages=[{"role": "user", "content": "Hello!"}]
)

Verwenden des Anthropic SDK

Stellen Sie den /inference Pfad des Gateways wie folgt ein: base_url

import anthropic

client = anthropic.Anthropic(
    base_url="https://<gateway-id>.gateway.bedrock-agentcore.us-west-2.amazonaws.com/inference",
    api_key="<gateway-auth-token>"
)

response = client.messages.create(
    model="claude-sonnet-4-6",
    max_tokens=1024,
    messages=[{"role": "user", "content": "Hello!"}]
)

Verwenden von awscurl

awscurl --service bedrock-agentcore --region us-west-2 -X POST \
    "https://<gateway-id>.gateway.bedrock-agentcore.us-west-2.amazonaws.com/inference/v1/chat/completions" \
    -H "Content-Type: application/json" \
    -d '{"model": "gpt-5.5", "messages": [{"role": "user", "content": "Hello!"}]}'

Verfügbare Modelle auflisten

Rufen Sie den Endpunkt „Modelle auflisten“ auf, um Modelle zu ermitteln, die für alle Inferenzziele verfügbar sind:

awscurl --service bedrock-agentcore --region us-west-2 \
    "https://<gateway-id>.gateway.bedrock-agentcore.us-west-2.amazonaws.com/inference/v1/models"

Die Antwort ist im /v1/models OpenAI-Format mit Modell-IDs, denen der Zielname vorangestellt ist:

{
    "data": [
        {"id": "bedrock-mantle/anthropic.claude-opus-4-7", "object": "model", "owned_by": "system"},
        {"id": "openai/gpt-5.5", "object": "model", "owned_by": "openai"},
        {"id": "anthropic/claude-sonnet-4-6", "object": "model", "owned_by": "anthropic"}
    ]
}

Das owned_by Feld gibt den Anbieter des Modells an. Ein Wert von system steht für ein Modell, das von Amazon Bedrock gehostet wird, openai und ein Wert von steht für anthropic Modelle, die direkt von diesen Anbietern bereitgestellt werden.

Model-based Routing

Das Gateway leitet Inferenzanfragen auf der Grundlage des model Felds im Hauptteil der Anfrage weiter:

Streaming

Streaming folgt der OpenAI SSE-Konvention. Wird "stream": true im Anforderungstext festgelegt, und das Gateway durchläuft den SSE-Stream vom Anbieter ohne Transformation:

stream = client.chat.completions.create(
    model="gpt-5.5",
    messages=[{"role": "user", "content": "Write a story."}],
    stream=True
)

for chunk in stream:
    print(chunk.choices[0].delta.content, end="")

Grenzwerte für den Antwortstream

Ohne eine konfigurierte Token-Limit-Richtlinie können unbegrenzte Antworten die folgenden Probleme verursachen:

Um diese Risiken zu minimieren, konfigurieren Sie eine Token-Limit-Richtlinie für Ihre Gateway-Ziele. Weitere Informationen finden Sie unter Gateway-Richtlinien.

Ausgehende Autorisierung

Inference Connector-Ziele unterstützen die folgenden Autorisierungstypen für ausgehenden Datenverkehr: