Crea un valutatore

agentcore add evaluator \
  --name "your_custom_evaluator_name" \
  --config custom_evaluator_config.json \
  --level "TRACE"

Questo comando aggiunge il valutatore alla configurazione locale. agentcore.json Esegui agentcore deploy per crearlo nel tuo AWS account.

Inserisci un nome per il tuo valutatore personalizzato.

Seleziona il livello di valutazione: Session, Trace o Tool Call.

Scegli il modello di giudice LLM per la valutazione.

Inserisci le istruzioni per la valutazione. Il prompt deve includere almeno un segnaposto: {context} per la cronologia delle conversazioni o {available_tools} per l'elenco degli strumenti.

Seleziona una scala di valutazione preimpostata o definisci una scala personalizzata.

Rivedi la configurazione del valutatore e premi Invio per confermare.

import json
from bedrock_agentcore_starter_toolkit import Evaluation

eval_client = Evaluation()

# Load the configuration JSON file
with open('custom_evaluator_config.json') as f:
    evaluator_config = json.load(f)

# Create the custom evaluator
custom_evaluator = eval_client.create_evaluator(
    name="your_custom_evaluator_name",
    level="TRACE",
    description="Response quality evaluator",
    config=evaluator_config
)

import boto3
import json

client = boto3.client('bedrock-agentcore-control')

# Load the configuration JSON file
with open('custom_evaluator_config.json') as f:
    evaluator_config = json.load(f)

# Create the custom evaluator
response = client.create_evaluator(
    evaluatorName="your_custom_evaluator_name",
    level="TRACE",
    evaluatorConfig=evaluator_config
)

aws bedrock-agentcore-control create-evaluator \
    --evaluator-name 'your_custom_evaluator_name' \
    --level TRACE \
    --evaluator-config file://custom_evaluator_config.json

Questo strumento di valutazione utilizza un LLM per confrontare le traiettorie previste ed effettive degli strumenti, permettendo un giudizio differenziato, ad esempio tollerando deviazioni minori come l'utilizzo di strumenti di supporto aggiuntivi. Utilizza expected_tool_trajectory i segnaposto e. actual_tool_trajectory

Salva quanto segue come: trajectory_compliance_config.json

{
  "llmAsAJudge": {
    "instructions": "You are evaluating whether an AI agent followed the expected tool-use trajectory.\n\nExpected trajectory (ordered list of tool names):\n{expected_tool_trajectory}\n\nActual trajectory (ordered list of tool names the agent used):\n{actual_tool_trajectory}\n\nFull session context:\n{context}\n\nAvailable tools:\n{available_tools}\n\nCompare the expected and actual trajectories. Consider whether the agent called the right tools in the right order. Minor deviations (e.g., an extra logging tool call) are acceptable if the core trajectory is preserved.",
    "ratingScale": {
      "numerical": [
        { "label": "No Match",      "value": 0.0, "definition": "The actual trajectory has no meaningful overlap with the expected trajectory" },
        { "label": "Partial Match", "value": 0.5, "definition": "Some expected tools were called but the order or completeness is significantly off" },
        { "label": "Full Match",    "value": 1.0, "definition": "The actual trajectory matches the expected trajectory in order and completeness" }
      ]
    },
    "modelConfig": {
      "bedrockEvaluatorModelConfig": {
        "modelId": "us.anthropic.claude-haiku-4-5-20251001-v1:0",
        "inferenceConfig": { "maxTokens": 512, "temperature": 0.0 }
      }
    }
  }
}

Crea il valutatore:

aws bedrock-agentcore-control create-evaluator \
  --evaluator-name 'TrajectoryCompliance' \
  --level SESSION \
  --description 'Evaluates whether the agent followed the expected tool trajectory.' \
  --evaluator-config file://trajectory_compliance_config.json

Questo valutatore verifica se il comportamento dell'agente soddisfa una serie di affermazioni, restituendo un verdetto categorico. PASS/FAIL/INCONCLUSIVE Utilizza il segnaposto insieme a e. assertions context available_tools

Salva quanto segue come: assertion_checker_config.json

{
  "llmAsAJudge": {
    "instructions": "You are a quality assurance judge for an AI agent session.\n\nSession context (full conversation history):\n{context}\n\nAvailable tools:\n{available_tools}\n\nAssertions to verify:\n{assertions}\n\nFor each assertion, determine if the session satisfies it. The overall verdict should be PASS only if ALL assertions are satisfied. If any assertion fails, the verdict is FAIL. If the session data is insufficient to determine, verdict is INCONCLUSIVE.",
    "ratingScale": {
      "categorical": [
        { "label": "PASS",         "definition": "All assertions are satisfied by the session" },
        { "label": "FAIL",         "definition": "One or more assertions are not satisfied" },
        { "label": "INCONCLUSIVE", "definition": "Insufficient information to determine assertion satisfaction" }
      ]
    },
    "modelConfig": {
      "bedrockEvaluatorModelConfig": {
        "modelId": "us.anthropic.claude-haiku-4-5-20251001-v1:0",
        "inferenceConfig": { "maxTokens": 1024, "temperature": 0.0 }
      }
    }
  }
}

Crea il valutatore:

aws bedrock-agentcore-control create-evaluator \
  --evaluator-name 'AssertionChecker' \
  --level SESSION \
  --description 'Checks whether the agent session satisfies a set of assertions.' \
  --evaluator-config file://assertion_checker_config.json

Questo valutatore confronta la risposta effettiva dell'agente con una risposta prevista, ottenendo una somiglianza semantica. Utilizza il expected_response segnaposto per ricevere la verità fondamentale al momento della valutazione.

Salva quanto segue come: response_similarity_config.json

{
  "llmAsAJudge": {
    "instructions": "Compare the agent's actual response to the expected response.\n\nConversation context:\n{context}\n\nAgent's actual response:\n{assistant_turn}\n\nExpected response:\n{expected_response}\n\nEvaluate semantic similarity. The agent does not need to match word-for-word, but the meaning, key facts, and intent should align. Penalize missing critical information or contradictions.",
    "ratingScale": {
      "numerical": [
        { "label": "No Match",        "value": 0.0,  "definition": "The response contradicts or is completely unrelated to the expected response" },
        { "label": "Low Similarity",   "value": 0.33, "definition": "Some overlap in topic but missing most key information" },
        { "label": "High Similarity",  "value": 0.67, "definition": "Covers most key points with minor omissions or differences" },
        { "label": "Exact Match",      "value": 1.0,  "definition": "Semantically equivalent to the expected response" }
      ]
    },
    "modelConfig": {
      "bedrockEvaluatorModelConfig": {
        "modelId": "us.anthropic.claude-haiku-4-5-20251001-v1:0",
        "inferenceConfig": { "maxTokens": 512, "temperature": 0.0 }
      }
    }
  }
}

Crea il valutatore:

aws bedrock-agentcore-control create-evaluator \
  --evaluator-name 'ResponseSimilarity' \
  --level TRACE \
  --description 'Evaluates how closely the agent response matches the expected response.' \
  --evaluator-config file://response_similarity_config.json