Erste Schritte
Dieses Thema bietet einen umfassenden Workflow zum Erstellen, Auffüllen und Veröffentlichen eines Datensatzes.
Datensatz-Schemas
Jeder Datensatz deklariert zum Zeitpunkt schemaType der Erstellung ein. AgentCore validiert jedes Beispiel anhand des deklarierten Schemas, bevor es akzeptiert wird. Zwei Schematypen werden unterstützt:
-
AGENTCORE_EVALUATION_PREDEFINED_V1 — Zum Testen von Agenten anhand vordefinierter Gesprächsrunden. Erforderliche Felder:scenario_id, (nicht leere Liste; jede Runde muss enthalten). turns input
-
AGENTCORE_EVALUATION_SIMULATED_V1 — Für die synthetische Generierung von Konversationen. Erforderliche Felder:scenario_id, (Objekt mit erforderlichem und),. actor_profile context goal input
Vollständige Schemafelddefinitionen, Beispiele und Ground-Truth-Mapping finden Sie unter Dataset-Schema.
End-to-end Arbeitsablauf
Das folgende Beispiel zeigt den gesamten Lebenszyklus eines Datensatzes: Erstellen, Hinzufügen von Beispielen, Auflisten von Beispielen, Veröffentlichen einer Version und Bereinigen.
Beispiel
- AgentCore CLI
-
-
# 1. Create dataset
agentcore add dataset --name my_eval_dataset \
--schema-type AGENTCORE_EVALUATION_PREDEFINED_V1
# 2. Add your scenarios to the JSONL file
# File: agentcore/datasets/my_eval_dataset.jsonl
# 3. Deploy to create the dataset and sync examples
agentcore deploy
# 4. Publish version 1
agentcore dataset publish-version --name my_eval_dataset
# 5. Check status (shows versions and example count)
agentcore status --type dataset
# 6. Download a published version to local file
agentcore dataset download --name my_eval_dataset --version 1
# 7. Cleanup
agentcore remove dataset --name my_eval_dataset
agentcore deploy
- AgentCore SDK
-
-
from bedrock_agentcore.evaluation import DatasetClient
client = DatasetClient(region_name="us-west-2")
# 1. Create dataset (polls until ACTIVE)
ds = client.create_dataset_and_wait(
datasetName="my_eval_dataset",
schemaType="AGENTCORE_EVALUATION_PREDEFINED_V1",
source={
"inlineExamples": {
"examples": [
{
"scenario_id": "TC-01",
"turns": [{"input": "What is my balance?", "expected_response": "Your balance is $50."}],
"assertions": ["Response includes a dollar amount"],
}
]
}
},
)
dataset_id = ds["datasetId"]
print(f"Created: {dataset_id}, status={ds['status']}")
# 2. Add more examples
ds = client.add_examples_and_wait(
datasetId=dataset_id,
source={
"inlineExamples": {
"examples": [
{"scenario_id": "TC-02", "turns": [{"input": "Transfer $100", "expected_response": "Transfer complete."}]}
]
}
},
)
print(f"Example count: {ds['exampleCount']}")
# 3. List examples
resp = client.list_dataset_examples(datasetId=dataset_id)
for example in resp["examples"]:
print(f" {example['exampleId']}: {example['scenario_id']}")
# 4. Publish version 1
ds = client.create_dataset_version_and_wait(datasetId=dataset_id)
print(f"Published, draftStatus: {ds.get('draftStatus')}")
# 5. List versions
resp = client.list_dataset_versions(datasetId=dataset_id)
for v in resp["versions"]:
print(f" Version {v['datasetVersion']}: {v['exampleCount']} examples")
# 6. Cleanup
client.delete_dataset_and_wait(datasetId=dataset_id)
