推論連接器目標

推論連接器目標為支援的模型提供者提供預先設定的設定。當您使用連接器時，閘道會根據供應商 API 的內建知識，自動處理操作、模型探索、模型 ID 轉譯和路徑重寫，因此您不需要手動指定。

當您想要快速新增支援的模型提供者，而無需手動設定端點、操作或模型映射時，建議使用連接器。

目標組態

推論連接器目標的目標組態使用以下結構：

{
    "inference": {
        "connector": {
            "source": {
                "connectorId": "bedrock-mantle"
            }
        }
    }
}

每個連接器都提供等同於完整指定提供者組態的內建預設值。例如，bedrock-mantle連接器會自動設定：

建立連接器推論目標

下列範例示範如何使用 Bedrock Mantle 連接器建立推論目標：

aws bedrock-agentcore-control create-gateway-target --cli-input-json '{
    "gatewayIdentifier": "GATEWAY_ID",
    "name": "bedrock-mantle",
    "targetConfiguration": {
        "inference": {
            "connector": {
                "source": {
                    "connectorId": "bedrock-mantle"
                }
            }
        }
    },
    "credentialProviderConfigurations": [
        {"credentialProviderType": "GATEWAY_IAM_ROLE"}
    ]
}'

下列範例示範如何使用 OpenAI 連接器建立推論目標：

aws bedrock-agentcore-control create-gateway-target --cli-input-json '{
    "gatewayIdentifier": "GATEWAY_ID",
    "name": "openai",
    "targetConfiguration": {
        "inference": {
            "connector": {
                "source": {
                    "connectorId": "openai"
                }
            }
        }
    },
    "credentialProviderConfigurations": [
        {
            "credentialProviderType": "API_KEY",
            "credentialProvider": {
                "apiKeyCredentialProvider": {
                    "providerArn": "arn:aws:bedrock-agentcore:us-west-2:111122223333:token-vault/default/apikeycredentialprovider/openai-key",
                    "credentialLocation": "HEADER",
                    "credentialParameterName": "Authorization",
                    "credentialPrefix": "Bearer "
                }
            }
        }
    ]
}'

下列範例示範如何使用 Anthropic 連接器建立推論目標：

aws bedrock-agentcore-control create-gateway-target --cli-input-json '{
    "gatewayIdentifier": "GATEWAY_ID",
    "name": "anthropic",
    "targetConfiguration": {
        "inference": {
            "connector": {
                "source": {
                    "connectorId": "anthropic"
                }
            }
        }
    },
    "credentialProviderConfigurations": [
        {
            "credentialProviderType": "API_KEY",
            "credentialProvider": {
                "apiKeyCredentialProvider": {
                    "providerArn": "arn:aws:bedrock-agentcore:us-west-2:111122223333:token-vault/default/apikeycredentialprovider/anthropic-key",
                    "credentialLocation": "HEADER",
                    "credentialParameterName": "x-api-key"
                }
            }
        }
    ]
}'

叫用連接器推論目標

若要叫用推論目標，請將請求傳送到閘道的/inference路徑。閘道會根據請求內文中的 model 欄位，將每個請求路由至正確的目標。model 值可以是純模型 ID （例如 gpt-5.5) 或以 格式顯示的目標合格模型 ID {targetName}/{modelId}（例如 openai/gpt-5.5)。如需 model值如何符合目標的詳細資訊，請參閱以模型為基礎的路由。

URL 格式為：

https://{gatewayId}.gateway.bedrock-agentcore.{region}.amazonaws.com/inference/{path}

{path} 將 取代為推論操作路徑 （例如 v1/chat/completions、 v1/responses或 v1/messages)。

使用 OpenAI 開發套件

將閘道的/inference/v1路徑設定為 base_url：

from openai import OpenAI

client = OpenAI(
    base_url="https://<gateway-id>.gateway.bedrock-agentcore.us-west-2.amazonaws.com/inference/v1",
    api_key="<gateway-auth-token>"
)

response = client.chat.completions.create(
    model="gpt-5.5",
    messages=[{"role": "user", "content": "Hello!"}]
)

使用 Anthropic SDK

將閘道的/inference路徑設定為 base_url：

import anthropic

client = anthropic.Anthropic(
    base_url="https://<gateway-id>.gateway.bedrock-agentcore.us-west-2.amazonaws.com/inference",
    api_key="<gateway-auth-token>"
)

response = client.messages.create(
    model="claude-sonnet-4-6",
    max_tokens=1024,
    messages=[{"role": "user", "content": "Hello!"}]
)

使用 awscurl

awscurl --service bedrock-agentcore --region us-west-2 -X POST \
    "https://<gateway-id>.gateway.bedrock-agentcore.us-west-2.amazonaws.com/inference/v1/chat/completions" \
    -H "Content-Type: application/json" \
    -d '{"model": "gpt-5.5", "messages": [{"role": "user", "content": "Hello!"}]}'

列出可用的模型

若要探索所有推論目標中可用的模型，請呼叫清單模型端點：

awscurl --service bedrock-agentcore --region us-west-2 \
    "https://<gateway-id>.gateway.bedrock-agentcore.us-west-2.amazonaws.com/inference/v1/models"

回應的/v1/models格式為 OpenAI，模型 IDs字首為目標名稱：

{
    "data": [
        {"id": "bedrock-mantle/anthropic.claude-opus-4-7", "object": "model", "owned_by": "system"},
        {"id": "openai/gpt-5.5", "object": "model", "owned_by": "openai"},
        {"id": "anthropic/claude-sonnet-4-6", "object": "model", "owned_by": "anthropic"}
    ]
}

owned_by 欄位指出模型的提供者。值 system表示 Amazon Bedrock 託管的模型，而 openai和 anthropic則表示這些提供者直接提供的模型。

模型型路由

閘道會根據請求內文中的 model 欄位路由推論請求：

串流

串流遵循 OpenAI SSE 慣例。在請求內文"stream": true中設定 ，而閘道會從提供者傳遞 SSE 串流，而不需要轉換：

stream = client.chat.completions.create(
    model="gpt-5.5",
    messages=[{"role": "user", "content": "Write a story."}],
    stream=True
)

for chunk in stream:
    print(chunk.choices[0].delta.content, end="")

回應串流限制

如果沒有設定的字符限制政策，未限制的回應可能會導致下列問題：

若要降低這些風險，請在閘道目標上設定字符限制政策。如需詳細資訊，請參閱閘道政策。

傳出授權

推論連接器目標支援下列傳出授權類型：