Esegui un A/B test per agenti ospitati all'esterno di AgentCore

Puoi A/B testare un agente che viene eseguito all'esterno di un AgentCore Runtime con un agente ospitato ovunque, ad esempio su AWS Lambda, Amazon EKS o Amazon ECS. Per gli agenti di A/B test, il AgentCore gateway indirizza il traffico tra le varianti, i punteggi di valutazione online per ogni sessione e il servizio calcola la significatività statistica per variante. Quando l'agente non utilizza un AgentCore Runtime, è necessario strumentarlo per verificarne l'osservabilità, registrarlo personalmente come destinazione del AgentCore gateway e abilitare il tracciamento del gateway in modo che le sessioni possano essere attribuite a una variante.

A/B tests supporta pacchetti di configurazione con un runtime a singolo agente e il routing basato su target con due endpoint di agenti. Questa pagina mostra come configurare un endpoint agente raggiungibile tramite HTTP come destinazione sul AgentCore gateway con tracciamento abilitato. Quindi, il AgentCore gateway tracing fornisce l'attribuzione delle varianti e l'osservabilità sull'endpoint dell'agente fornisce il contenuto del messaggio per l'assegnazione del punteggio.

Questa pagina è un addendum per eseguire un test con il routing basato sulla destinazione. A/B Copre solo la configurazione aggiuntiva di cui ha bisogno un agente diverso dal runtime, ad esempio utilizzando un Lambda-hosted agente (dietro l'URL di una funzione); lo stesso approccio si applica a qualsiasi endpoint HTTP-reachable agente registrato come destinazione AgentCore gateway, quindi rimanda a quella pagina per creare ed eseguire il test.

Prerequisiti

Oltre ai prerequisiti generali di A/B test, sono necessari:

Fase 1: Strumentate il vostro agente per AgentCore quanto riguarda l'osservabilità

Per un Lambda-hosted agente, collega il AWS Lambda Layer per OpenTelemetry e imposta le seguenti variabili di ambiente:

aws lambda update-function-configuration \
  --function-name <function-name> \
  --region <region> \
  --layers <adot-python-layer-arn> \
  --environment "Variables={
    AGENT_OBSERVABILITY_ENABLED=true,
    OTEL_PROPAGATORS='baggage,xray-lambda,tracecontext',
    OTEL_PYTHON_DISTRO=aws_distro,
    OTEL_PYTHON_CONFIGURATOR=aws_configurator,
    OTEL_LOGS_EXPORTER=otlp,
    OTEL_TRACES_EXPORTER=otlp,
    OTEL_EXPORTER_OTLP_PROTOCOL=http/protobuf,
    OTEL_PYTHON_LOGGING_AUTO_INSTRUMENTATION_ENABLED=true,
    OTEL_AWS_APPLICATION_SIGNALS_ENABLED=false,
    OTEL_EXPORTER_OTLP_LOGS_HEADERS='x-aws-log-group=/aws/bedrock-agentcore/agents/<function-name>/runtime-logs,x-aws-log-stream=runtime-logs,x-aws-metric-namespace=agentcore',
    OTEL_RESOURCE_ATTRIBUTES='service.name=<function-name>',
    AWS_LAMBDA_EXEC_WRAPPER=/opt/otel-instrument
  }"

Un gestore Lambda minimale che analizza la richiesta dell'URL della funzione e imposta il bagaglio della sessione:

import base64, json
from strands import Agent
from strands.models.bedrock import BedrockModel
from opentelemetry import baggage, context

_model = BedrockModel(model_id="global.anthropic.claude-sonnet-4-5-20250929-v1:0")


def lambda_handler(event, _context):
    # Lambda function URL payload format 2.0: JSON body is in event["body"], no httpMethod.
    raw = event.get("body")
    if raw is not None and event.get("isBase64Encoded"):
        raw = base64.b64decode(raw).decode()
    body = json.loads(raw) if isinstance(raw, str) else (raw or event)

    session_id = _session_id(event)
    token = context.attach(baggage.set_baggage("session.id", session_id))
    try:
        agent = Agent(model=_model, system_prompt="You are a helpful assistant. Be concise.")
        result = agent(body.get("prompt", "Hello"))
    finally:
        context.detach(token)
    return {"response": str(result), "sessionId": session_id}


def _session_id(event):
    return (event.get("headers") or {}).get("x-session-id") or "default"

Per il routing basato sulla destinazione, implementalo due volte (controllo e trattamento) con la modifica che stai testando, ad esempio un prompt diverso o di sistema. model_id

Passaggio 2: esponi il tuo agente tramite HTTP

L'agente deve essere raggiungibile su un endpoint HTTP che il AgentCore gateway può chiamare. Per l'esempio Lambda, crea un URL di funzione con autenticazione IAM per ogni funzione:

aws lambda create-function-url-config \
  --function-name cs-agent-control \
  --auth-type AWS_IAM \
  --region us-west-2

Ripetere l'operazione per la funzione di trattamento. (Per un contenitore o un agente ospitato autonomamente, esponi invece un endpoint HTTPS e vai al passaggio 3.)

Fase 3: Registra il tuo agente come destinazione del gateway AgentCore

Registra ogni endpoint come destinazione passthrough HTTP su un AgentCore gateway. Per i dettagli sulle destinazioni passthrough, incluse le opzioniprotocolType, stickiness e credenziali, consulta HTTP passthrough targets.

Per registrare l'URL di una funzione Lambda come destinazione, imposta protocolType CUSTOM e fornisci un. iamCredentialProvider Il provider di credenziali autorizza il gateway a firmare ogni richiesta in uscita all'URL della funzione come servizio: lambda

Per un routing basato sull'obiettivo, ripetere l'operazione per l'endpoint del trattamento (denominarlo). customer-support-treatment Sottolinea ogni bersaglio con until is. get-gateway-target status READY

Fase 4: Abilitare il tracciamento del AgentCore gateway

Abilita la tracciabilità della distribuzione sul AgentCore gateway in modo che emetta intervalli di attribuzione delle varianti a. aws/spans Per abilitare il tracciamento dalla console, apri la pagina dei dettagli del gateway e scegli Registra consegne e tracciamento → Tracciamento → Abilita. Per ulteriori informazioni, consulta Configurare la tracciabilità della consegna su. CloudWatch

Una volta che il traffico inizia a fluire, ogni estensione del gateway contiene gli attributi aws.agentcore.gateway.routing_experiment_arn and aws.agentcore.gateway.routing_experiment_variant_name (ad esempio, C orT1), insieme a quello traceId della richiesta. La pipeline di valutazione online unisce lo span del gateway a quello del vostro agentetraceId, vale a dire il modo in cui ogni sessione con punteggio viene attribuita alla sua variante. Senza il gateway tracing, le sessioni vengono comunque valutate, ma non possono essere attribuite a una variante e il A/B test non produce risultati per variante.

Fase 5: Creare ed eseguire il test A/B

Il tuo agente è ora un bersaglio gateway che emette telemetria. Rimangono due passaggi:

Quando invii traffico attraverso il gateway, indirizzalo verso la destinazione della variante di controllo. Il gateway suddivide tutto il traffico in arrivo al target di controllo tra gli obiettivi control (C) e treatment (T1) in base alla configurazione A/B del test.

Risoluzione dei problemi

A/B Il test non mostra risultati dopo l'invio del traffico