View a markdown version of this page

Introducción - Base amazónica AgentCore
Esquemas de conjuntos de datosEnd-to-end flujo de trabajo

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Introducción

En este tema se proporciona un flujo de trabajo integral para crear, rellenar y publicar un conjunto de datos.

Esquemas de conjuntos de datos

Cada conjunto de datos declara una schemaType en el momento de la creación. AgentCore valida cada ejemplo comparándolo con el esquema declarado antes de aceptarlo. Se admiten dos tipos de esquemas:

  • AGENTCORE_EVALUATION_PREDEFINED_V1: para probar los agentes comparándolos con los turnos de conversación preescritos. Campos obligatorios:, (lista no vacía; debe contener cada turno). scenario_id turns input

  • AGENTCORE_EVALUATION_SIMULATED_V1: para la generación de conversaciones sintéticas. Campos obligatorios:, (objeto con un signo obligatorio y),. scenario_id actor_profile context goal input

Para ver las definiciones completas de los campos del esquema, los ejemplos y el mapeo de la verdad básica, consulta el esquema del conjunto de datos.

End-to-end flujo de trabajo

El siguiente ejemplo muestra el ciclo de vida completo de un conjunto de datos: crear, agregar ejemplos, enumerar ejemplos, publicar una versión y limpiar.

ejemplo
AgentCore CLI

  1. # 1. Create dataset
agentcore add dataset --name my_eval_dataset \
    --schema-type AGENTCORE_EVALUATION_PREDEFINED_V1

# 2. Add your scenarios to the JSONL file
#    File: agentcore/datasets/my_eval_dataset.jsonl

# 3. Deploy to create the dataset and sync examples
agentcore deploy

# 4. Publish version 1
agentcore dataset publish-version --name my_eval_dataset

# 5. Check status (shows versions and example count)
agentcore status --type dataset

# 6. Download a published version to local file
agentcore dataset download --name my_eval_dataset --version 1

# 7. Cleanup
agentcore remove dataset --name my_eval_dataset
agentcore deploy
AgentCore SDK

  1. from bedrock_agentcore.evaluation import DatasetClient

client = DatasetClient(region_name="us-west-2")

# 1. Create dataset (polls until ACTIVE)
ds = client.create_dataset_and_wait(
    datasetName="my_eval_dataset",
    schemaType="AGENTCORE_EVALUATION_PREDEFINED_V1",
    source={
        "inlineExamples": {
            "examples": [
                {
                    "scenario_id": "TC-01",
                    "turns": [{"input": "What is my balance?", "expected_response": "Your balance is $50."}],
                    "assertions": ["Response includes a dollar amount"],
                }
            ]
        }
    },
)
dataset_id = ds["datasetId"]
print(f"Created: {dataset_id}, status={ds['status']}")

# 2. Add more examples
ds = client.add_examples_and_wait(
    datasetId=dataset_id,
    source={
        "inlineExamples": {
            "examples": [
                {"scenario_id": "TC-02", "turns": [{"input": "Transfer $100", "expected_response": "Transfer complete."}]}
            ]
        }
    },
)
print(f"Example count: {ds['exampleCount']}")

# 3. List examples
resp = client.list_dataset_examples(datasetId=dataset_id)
for example in resp["examples"]:
    print(f"  {example['exampleId']}: {example['scenario_id']}")

# 4. Publish version 1
ds = client.create_dataset_version_and_wait(datasetId=dataset_id)
print(f"Published, draftStatus: {ds.get('draftStatus')}")

# 5. List versions
resp = client.list_dataset_versions(datasetId=dataset_id)
for v in resp["versions"]:
    print(f"  Version {v['datasetVersion']}: {v['exampleCount']} examples")

# 6. Cleanup
client.delete_dataset_and_wait(datasetId=dataset_id)