推理连接器目标

推理连接器目标为支持的模型提供者提供了预先配置的设置。当您使用连接器时，网关会根据提供商 API 的内置知识自动处理操作、模型发现、模型 ID 转换和路径重写，因此您无需手动指定它们。

如果您想快速添加支持的模型提供程序，而无需手动配置端点、操作或模型映射，则建议使用连接器。

目标配置

推理连接器目标的目标配置使用以下结构：

{
    "inference": {
        "connector": {
            "source": {
                "connectorId": "bedrock-mantle"
            }
        }
    }
}

每个连接器都提供等同于完全指定的提供程序配置的内置默认值。例如，bedrock-mantle连接器会自动配置：

创建连接器推理目标

以下示例显示了如何使用 Bedrock Mantle 连接器创建推理目标：

aws bedrock-agentcore-control create-gateway-target --cli-input-json '{
    "gatewayIdentifier": "GATEWAY_ID",
    "name": "bedrock-mantle",
    "targetConfiguration": {
        "inference": {
            "connector": {
                "source": {
                    "connectorId": "bedrock-mantle"
                }
            }
        }
    },
    "credentialProviderConfigurations": [
        {"credentialProviderType": "GATEWAY_IAM_ROLE"}
    ]
}'

以下示例说明如何使用 OpenAI 连接器创建推理目标：

aws bedrock-agentcore-control create-gateway-target --cli-input-json '{
    "gatewayIdentifier": "GATEWAY_ID",
    "name": "openai",
    "targetConfiguration": {
        "inference": {
            "connector": {
                "source": {
                    "connectorId": "openai"
                }
            }
        }
    },
    "credentialProviderConfigurations": [
        {
            "credentialProviderType": "API_KEY",
            "credentialProvider": {
                "apiKeyCredentialProvider": {
                    "providerArn": "arn:aws:bedrock-agentcore:us-west-2:111122223333:token-vault/default/apikeycredentialprovider/openai-key",
                    "credentialLocation": "HEADER",
                    "credentialParameterName": "Authorization",
                    "credentialPrefix": "Bearer "
                }
            }
        }
    ]
}'

以下示例说明如何使用 Anthropic 连接器创建推理目标：

aws bedrock-agentcore-control create-gateway-target --cli-input-json '{
    "gatewayIdentifier": "GATEWAY_ID",
    "name": "anthropic",
    "targetConfiguration": {
        "inference": {
            "connector": {
                "source": {
                    "connectorId": "anthropic"
                }
            }
        }
    },
    "credentialProviderConfigurations": [
        {
            "credentialProviderType": "API_KEY",
            "credentialProvider": {
                "apiKeyCredentialProvider": {
                    "providerArn": "arn:aws:bedrock-agentcore:us-west-2:111122223333:token-vault/default/apikeycredentialprovider/anthropic-key",
                    "credentialLocation": "HEADER",
                    "credentialParameterName": "x-api-key"
                }
            }
        }
    ]
}'

调用连接器推理目标

要调用推理目标，请向网关的/inference路径发送请求。网关根据请求正文中的model字段将每个请求路由到正确的目标。该model值可以是普通模型 ID（例如gpt-5.5），也可以是表单中的目标限定模型 ID{targetName}/{modelId}（例如）。openai/gpt-5.5有关如何将该model值与目标匹配的详细信息，请参阅Model-based 路由。

URL 格式如下：

https://{gatewayId}.gateway.bedrock-agentcore.{region}.amazonaws.com/inference/{path}

{path}替换为推理操作路径（例如v1/chat/completionsv1/responses、或v1/messages）。

使用 OpenAI 开发工具包

将网关的/inference/v1路径设置为base_url：

from openai import OpenAI

client = OpenAI(
    base_url="https://<gateway-id>.gateway.bedrock-agentcore.us-west-2.amazonaws.com/inference/v1",
    api_key="<gateway-auth-token>"
)

response = client.chat.completions.create(
    model="gpt-5.5",
    messages=[{"role": "user", "content": "Hello!"}]
)

使用 Anthropic SDK

将网关的/inference路径设置为base_url：

import anthropic

client = anthropic.Anthropic(
    base_url="https://<gateway-id>.gateway.bedrock-agentcore.us-west-2.amazonaws.com/inference",
    api_key="<gateway-auth-token>"
)

response = client.messages.create(
    model="claude-sonnet-4-6",
    max_tokens=1024,
    messages=[{"role": "user", "content": "Hello!"}]
)

使用 awscurl

awscurl --service bedrock-agentcore --region us-west-2 -X POST \
    "https://<gateway-id>.gateway.bedrock-agentcore.us-west-2.amazonaws.com/inference/v1/chat/completions" \
    -H "Content-Type: application/json" \
    -d '{"model": "gpt-5.5", "messages": [{"role": "user", "content": "Hello!"}]}'

列出可用型号

要发现所有推理目标中可用的模型，请调用列表模型端点：

awscurl --service bedrock-agentcore --region us-west-2 \
    "https://<gateway-id>.gateway.bedrock-agentcore.us-west-2.amazonaws.com/inference/v1/models"

响应采用 OpenAI 的/v1/models格式，模型 ID 以目标名称为前缀：

{
    "data": [
        {"id": "bedrock-mantle/anthropic.claude-opus-4-7", "object": "model", "owned_by": "system"},
        {"id": "openai/gpt-5.5", "object": "model", "owned_by": "openai"},
        {"id": "anthropic/claude-sonnet-4-6", "object": "model", "owned_by": "anthropic"}
    ]
}

该owned_by字段表示模型的提供者。值为system表示由 Amazon Bedrock 托管的模型，而openai和anthropic表示由这些提供商直接提供的模型。

Model-based 路由

网关根据请求正文中的model字段路由推理请求：

流式传输

直播遵循OpenAI SSE惯例。"stream": true在请求正文中设置，网关无需转换即可通过来自提供商的 SSE 流：

stream = client.chat.completions.create(
    model="gpt-5.5",
    messages=[{"role": "user", "content": "Write a story."}],
    stream=True
)

for chunk in stream:
    print(chunk.choices[0].delta.content, end="")

响应流限制

如果没有配置的令牌限制策略，无限制的响应可能会导致以下问题：

要降低这些风险，请在网关目标上配置令牌限制策略。有关更多信息，请参阅网关策略。

出站授权

推理连接器目标支持以下出站授权类型：