View a markdown version of this page

Gestisci esempi di set di dati - Fondamento Amazon AgentCore

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Gestisci esempi di set di dati

Una volta raggiunto ACTIVE lo stato di un set di dati, puoi aggiungere, aggiornare, eliminare ed elencare esempi nella bozza. Tutte le mutazioni di esempio sono asincrone (HTTP 202) e utilizzano la semantica «tutto o niente»: se non viene trovato alcun ID di esempio, l'intero batch fallisce. ResourceNotFoundException

Massimo 1.000 esempi per richiesta. Limite di contenuto in linea: 5 MB.

AddDatasetExamples

Gli esempi seguenti mostrano come aggiungere esempi a un set di dati:

Esempio
AgentCore CLI
  1. Per aggiungere esempi con la AgentCore CLI, aggiungi nuovi scenari al tuo file JSONL locale, quindi ridistribuisci:

    # Edit agentcore/datasets/my_eval_dataset.jsonl — add new lines agentcore deploy

    La distribuzione rileva nuovi scenari nel file JSONL e li aggiunge al servizio. Viene applicato solo il diff: gli esempi esistenti non vengono caricati nuovamente.

    Nota

    Eseguilo dall'interno di una cartella AgentCore del progetto (creata conagentcore create).

AgentCore SDK
  1. from bedrock_agentcore.evaluation import DatasetClient client = DatasetClient(region_name="us-west-2") ds = client.add_examples_and_wait( datasetId="my-dataset-id", source={ "inlineExamples": { "examples": [ { "scenario_id": "TC-02", "turns": [{"input": "Transfer $100", "expected_response": "Transfer complete."}], } ] } }, ) print(f"Example count: {ds['exampleCount']}")
AWS SDK
  1. import boto3 import time client = boto3.client('bedrock-agentcore-control') resp = client.add_dataset_examples( datasetId='my-dataset-id', source={'inlineExamples': {'examples': [ {'scenario_id': 'TC-02', 'turns': [{'input': 'Transfer $100', 'expected_response': 'Transfer complete.'}]} ]}} ) print(f"Added example IDs: {resp['exampleIds']}") # Poll until ACTIVE while True: ds = client.get_dataset(datasetId='my-dataset-id') if ds['status'] == 'ACTIVE': break time.sleep(2)
AWS CLI
  1. aws bedrock-agentcore-control add-dataset-examples \ --dataset-id my-dataset-id \ --source '{"inlineExamples": {"examples": [{"scenario_id": "TC-02", "turns": [{"input": "Transfer $100", "expected_response": "Transfer complete."}]}]}}'

UpdateDatasetExamples

Ogni voce deve includere exampleId più i campi di contenuto aggiornati. Il set di dati deve essere attivo ACTIVE o in UPDATE_FAILED stato.

Gli esempi seguenti mostrano come aggiornare gli esempi di set di dati:

Esempio
AgentCore CLI
  1. Per aggiornare gli esempi con la AgentCore CLI, modifica gli scenari esistenti nel file JSONL locale, quindi ridistribuisci:

    # Edit agentcore/datasets/my_eval_dataset.jsonl — modify existing lines agentcore deploy

    La distribuzione differenzia il file locale rispetto al servizio e aggiorna gli esempi modificati. Ogni riga deve mantenere la sua exampleId perché il servizio la riconosca come un aggiornamento anziché come un nuovo esempio.

    Nota

    Eseguilo dall'interno di una cartella AgentCore del progetto (creata conagentcore create).

AgentCore SDK
  1. from bedrock_agentcore.evaluation import DatasetClient client = DatasetClient(region_name="us-west-2") ds = client.update_examples_and_wait( datasetId="my-dataset-id", examples=[ { "exampleId": "example-id-from-list", "scenario_id": "TC-02-updated", "turns": [{"input": "Transfer $200", "expected_response": "Transfer complete."}], } ], )
AWS SDK
  1. import boto3 import time client = boto3.client('bedrock-agentcore-control') client.update_dataset_examples( datasetId='my-dataset-id', examples=[ { 'exampleId': 'example-id-from-list', 'scenario_id': 'TC-02-updated', 'turns': [{'input': 'Transfer $200', 'expected_response': 'Transfer complete.'}], } ] ) # Poll until ACTIVE while True: ds = client.get_dataset(datasetId='my-dataset-id') if ds['status'] == 'ACTIVE': break time.sleep(2)
AWS CLI
  1. aws bedrock-agentcore-control update-dataset-examples \ --dataset-id my-dataset-id \ --cli-input-json file://update-examples.json

DeleteDatasetExamples

Il set di dati deve essere in ACTIVEUPDATE_FAILED, o CREATE_FAILED status.

Gli esempi seguenti mostrano come eliminare gli esempi di set di dati:

Esempio
AgentCore CLI
  1. Per eliminare gli esempi con la AgentCore CLI, rimuovi le righe corrispondenti dal file JSONL locale, quindi ridistribuisci:

    # Edit agentcore/datasets/my_eval_dataset.jsonl — remove lines agentcore deploy

    La distribuzione rileva gli scenari rimossi e li elimina dal servizio.

    Nota

    Eseguilo dall'interno di una directory AgentCore del progetto (creata con). agentcore create

AgentCore SDK
  1. from bedrock_agentcore.evaluation import DatasetClient client = DatasetClient(region_name="us-west-2") ds = client.delete_examples_and_wait( datasetId="my-dataset-id", exampleIds=["example-id-1", "example-id-2"], )
AWS SDK
  1. import boto3 import time client = boto3.client('bedrock-agentcore-control') client.delete_dataset_examples( datasetId='my-dataset-id', exampleIds=['example-id-1', 'example-id-2'] ) # Poll until ACTIVE while True: ds = client.get_dataset(datasetId='my-dataset-id') if ds['status'] == 'ACTIVE': break time.sleep(2)
AWS CLI
  1. aws bedrock-agentcore-control delete-dataset-examples \ --dataset-id my-dataset-id \ --example-ids '["example-id-1", "example-id-2"]'

ListDatasetExamples

Restituisce un elenco impaginato di esempi con contenuto completo. Per impostazione predefinita, legge dalla bozza. Specifica datasetVersion di leggere da una versione pubblicata.

Gli esempi seguenti mostrano come elencare gli esempi di set di dati:

Esempio
AgentCore CLI
  1. # Download examples to your local JSONL file (default: Draft) agentcore dataset download --name my_eval_dataset # Download examples from a published version agentcore dataset download --name my_eval_dataset --version 1
AgentCore SDK
  1. from bedrock_agentcore.evaluation import DatasetClient client = DatasetClient(region_name="us-west-2") # List examples from Draft resp = client.list_dataset_examples(datasetId="my-dataset-id") for example in resp["examples"]: print(f" {example['exampleId']}: {example['scenario_id']}") # List examples from a published version resp = client.list_dataset_examples(datasetId="my-dataset-id", datasetVersion="1")
AWS SDK
  1. import boto3 client = boto3.client('bedrock-agentcore-control') resp = client.list_dataset_examples(datasetId='my-dataset-id') for example in resp['examples']: print(f" {example['exampleId']}: {example.get('scenario_id')}") # List examples from a published version resp = client.list_dataset_examples(datasetId='my-dataset-id', datasetVersion='1')
AWS CLI
  1. # List examples from Draft aws bedrock-agentcore-control list-dataset-examples \ --dataset-id my-dataset-id # List examples from a published version aws bedrock-agentcore-control list-dataset-examples \ --dataset-id my-dataset-id \ --dataset-version 1