Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Skema dataset

Dataset berisi satu atau lebih skenario. Setiap skenario mewakili percakapan (sesi) dengan agen. Pelari dataset on-demand dan batch menggunakan format dataset yang sama.

AgentCore SDK mendukung dua jenis skenario:

FileDatasetProvidermendeteksi secara otomatis jenis skenario dari struktur JSON: skenario dengan turns bidang dimuat seperti yang telah ditentukan sebelumnya; skenario dengan actor_profile bidang (dan tidakturns) dimuat sebagai simulasi.

Skenario yang telah ditentukan

Skenario yang telah ditentukan menentukan urutan putaran tetap dengan input yang diketahui dan output opsional yang diharapkan.

Single-turn contoh

Setiap skenario mengirimkan satu prompt dan memeriksa respons:

{
  "scenarios": [
    {
      "scenario_id": "math-question",
      "turns": [
        {
          "input": "What is 15 + 27?",
          "expected_response": "15 + 27 = 42"
        }
      ],
      "expected_trajectory": ["calculator"],
      "assertions": ["Agent used the calculator tool to compute the result"]
    },
    {
      "scenario_id": "weather-check",
      "turns": [
        {
          "input": "What's the weather?",
          "expected_response": "The weather is sunny"
        }
      ],
      "expected_trajectory": ["weather"],
      "assertions": ["Agent used the weather tool"]
    }
  ]
}

Multi-turn contoh

Multi-turn skenario memiliki beberapa putaran per skenario. Putaran dijalankan secara berurutan dalam sesi yang sama, mempertahankan konteks percakapan. Setiap giliran dapat memiliki sendiriexpected_response, sementara assertions dan expected_trajectory berlaku untuk seluruh sesi:

{
  "scenarios": [
    {
      "scenario_id": "math-then-weather",
      "turns": [
        {
          "input": "What is 15 + 27?",
          "expected_response": "15 + 27 = 42"
        },
        {
          "input": "What's the weather?",
          "expected_response": "The weather is sunny"
        }
      ],
      "expected_trajectory": ["calculator", "weather"],
      "assertions": [
        "Agent used the calculator tool for the math question",
        "Agent used the weather tool when asked about weather"
      ]
    }
  ]
}

Bidang skenario

Putar bidang

Skenario simulasi

Skenario simulasi mendefinisikan profil aktor dan input awal. Aktor menghasilkan putaran berikutnya secara dinamis:

{
  "scenarios": [
    {
      "scenario_id": "geography-student",
      "scenario_description": "A curious student asks geography questions",
      "actor_profile": {
        "traits": {"expertise": "novice", "tone": "curious"},
        "context": "A student studying world geography who wants to learn about capitals",
        "goal": "Find out the capital cities of at least two different countries"
      },
      "input": "Hi! I'm studying geography. Can you help me learn about world capitals?",
      "max_turns": 5,
      "assertions": [
        "Agent provides accurate capital city information",
        "Agent is helpful and encouraging to the student"
      ]
    }
  ]
}

Bidang skenario

Pemetaan kebenaran dasar

Kedua pelari secara otomatis memetakan bidang dataset ke evaluator yang menggunakannya:

Untuk detail selengkapnya tentang bidang kebenaran dasar dan cara kerjanya dengan Evaluate API, lihat Evalu asi kebenaran dasar.

Konstruksi kumpulan data sebaris

Alih-alih memuat dari file JSON, Anda dapat membuat kumpulan data langsung di Python:

from bedrock_agentcore.evaluation import Dataset, PredefinedScenario, Turn

dataset = Dataset(
    scenarios=[
        PredefinedScenario(
            scenario_id="math-question",
            turns=[
                Turn(
                    input="What is 15 + 27?",
                    expected_response="15 + 27 = 42",
                ),
            ],
            expected_trajectory=["calculator"],
            assertions=["Agent used the calculator tool"],
        ),
        PredefinedScenario(
            scenario_id="weather-check",
            turns=[
                Turn(input="What's the weather?"),
            ],
            expected_trajectory=["weather"],
        ),
    ]
)

Atau muat dari file JSON:

from bedrock_agentcore.evaluation import FileDatasetProvider

dataset = FileDatasetProvider("dataset.json").get_dataset()