Alvos do conector de inferência

Os alvos do conector de inferência fornecem configuração pré-configurada para provedores de modelos compatíveis. Quando você usa um conector, o gateway manipula automaticamente as operações, a descoberta do modelo, a tradução do ID do modelo e a reescrita do caminho com base no conhecimento incorporado da API do provedor, para que você não precise especificá-los manualmente.

Os conectores são recomendados quando você deseja adicionar rapidamente um provedor de modelos compatível sem configurar manualmente endpoints, operações ou mapeamentos de modelos.

Configurações de destino

A configuração de destino para um destino de conector de inferência usa a seguinte estrutura:

{
    "inference": {
        "connector": {
            "source": {
                "connectorId": "bedrock-mantle"
            }
        }
    }
}

Cada conector fornece padrões integrados equivalentes a uma configuração de provedor totalmente especificada. Por exemplo, o bedrock-mantle conector configura automaticamente:

Criação de um alvo de inferência de conectores

O exemplo a seguir mostra como criar um alvo de inferência usando o conector Bedrock Mantle:

aws bedrock-agentcore-control create-gateway-target --cli-input-json '{
    "gatewayIdentifier": "GATEWAY_ID",
    "name": "bedrock-mantle",
    "targetConfiguration": {
        "inference": {
            "connector": {
                "source": {
                    "connectorId": "bedrock-mantle"
                }
            }
        }
    },
    "credentialProviderConfigurations": [
        {"credentialProviderType": "GATEWAY_IAM_ROLE"}
    ]
}'

O exemplo a seguir mostra como criar um destino de inferência usando o conector OpenAI:

aws bedrock-agentcore-control create-gateway-target --cli-input-json '{
    "gatewayIdentifier": "GATEWAY_ID",
    "name": "openai",
    "targetConfiguration": {
        "inference": {
            "connector": {
                "source": {
                    "connectorId": "openai"
                }
            }
        }
    },
    "credentialProviderConfigurations": [
        {
            "credentialProviderType": "API_KEY",
            "credentialProvider": {
                "apiKeyCredentialProvider": {
                    "providerArn": "arn:aws:bedrock-agentcore:us-west-2:111122223333:token-vault/default/apikeycredentialprovider/openai-key",
                    "credentialLocation": "HEADER",
                    "credentialParameterName": "Authorization",
                    "credentialPrefix": "Bearer "
                }
            }
        }
    ]
}'

O exemplo a seguir mostra como criar um alvo de inferência usando o conector Anthropic:

aws bedrock-agentcore-control create-gateway-target --cli-input-json '{
    "gatewayIdentifier": "GATEWAY_ID",
    "name": "anthropic",
    "targetConfiguration": {
        "inference": {
            "connector": {
                "source": {
                    "connectorId": "anthropic"
                }
            }
        }
    },
    "credentialProviderConfigurations": [
        {
            "credentialProviderType": "API_KEY",
            "credentialProvider": {
                "apiKeyCredentialProvider": {
                    "providerArn": "arn:aws:bedrock-agentcore:us-west-2:111122223333:token-vault/default/apikeycredentialprovider/anthropic-key",
                    "credentialLocation": "HEADER",
                    "credentialParameterName": "x-api-key"
                }
            }
        }
    ]
}'

Invocando um alvo de inferência de conectores

Para invocar um alvo de inferência, envie solicitações para o caminho do /inference gateway. O gateway encaminha cada solicitação para o destino correto com base no model campo no corpo da solicitação. O model valor pode ser um ID de modelo simples (por exemplo,gpt-5.5) ou um ID de modelo qualificado para o alvo no formulário {targetName}/{modelId} (por exemplo,openai/gpt-5.5). Para obter detalhes sobre como o model valor corresponde a uma meta, consulte Model-based roteamento.

O formato do URL é:

https://{gatewayId}.gateway.bedrock-agentcore.{region}.amazonaws.com/inference/{path}

{path}Substitua pelo caminho da operação de inferência (por exemplov1/chat/completions,v1/responses, ouv1/messages).

Usando o SDK do OpenAI

Defina o /inference/v1 caminho do gateway comobase_url:

from openai import OpenAI

client = OpenAI(
    base_url="https://<gateway-id>.gateway.bedrock-agentcore.us-west-2.amazonaws.com/inference/v1",
    api_key="<gateway-auth-token>"
)

response = client.chat.completions.create(
    model="gpt-5.5",
    messages=[{"role": "user", "content": "Hello!"}]
)

Usando o Anthropic SDK

Defina o /inference caminho do gateway comobase_url:

import anthropic

client = anthropic.Anthropic(
    base_url="https://<gateway-id>.gateway.bedrock-agentcore.us-west-2.amazonaws.com/inference",
    api_key="<gateway-auth-token>"
)

response = client.messages.create(
    model="claude-sonnet-4-6",
    max_tokens=1024,
    messages=[{"role": "user", "content": "Hello!"}]
)

Usando awscurl

awscurl --service bedrock-agentcore --region us-west-2 -X POST \
    "https://<gateway-id>.gateway.bedrock-agentcore.us-west-2.amazonaws.com/inference/v1/chat/completions" \
    -H "Content-Type: application/json" \
    -d '{"model": "gpt-5.5", "messages": [{"role": "user", "content": "Hello!"}]}'

Listando os modelos disponíveis

Para descobrir modelos disponíveis em todos os alvos de inferência, chame o endpoint dos modelos de lista:

awscurl --service bedrock-agentcore --region us-west-2 \
    "https://<gateway-id>.gateway.bedrock-agentcore.us-west-2.amazonaws.com/inference/v1/models"

A resposta está no /v1/models formato do OpenAI com IDs de modelo prefixados pelo nome de destino:

{
    "data": [
        {"id": "bedrock-mantle/anthropic.claude-opus-4-7", "object": "model", "owned_by": "system"},
        {"id": "openai/gpt-5.5", "object": "model", "owned_by": "openai"},
        {"id": "anthropic/claude-sonnet-4-6", "object": "model", "owned_by": "anthropic"}
    ]
}

O owned_by campo indica o fornecedor do modelo. Um valor de system indica um modelo hospedado pelo Amazon Bedrock, enquanto openai e anthropic indica modelos atendidos diretamente por esses fornecedores.

Model-based roteamento

O gateway encaminha as solicitações de inferência com base no model campo no corpo da solicitação:

Streaming

O streaming segue a convenção OpenAI SSE. "stream": trueDefinido no corpo da solicitação, o gateway passa pelo fluxo SSE do provedor sem transformação:

stream = client.chat.completions.create(
    model="gpt-5.5",
    messages=[{"role": "user", "content": "Write a story."}],
    stream=True
)

for chunk in stream:
    print(chunk.choices[0].delta.content, end="")

Limites do fluxo de resposta

Sem uma política de limite de token configurada, respostas ilimitadas podem causar os seguintes problemas:

Para mitigar esses riscos, configure uma política de limite de token em seus alvos de gateway. Para obter mais informações, consulte Políticas de gateway.

Autorização de saída

Os alvos do conector de inferência oferecem suporte aos seguintes tipos de autorização de saída: