Evaluator memantulkan pola loop - AWS Bimbingan Preskriptif
Lingkaran kontrol umpan balikLingkaran kontrol umpan balik (evaluator)PenilaiTakeaways

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Evaluator memantulkan pola loop

Tugas-tugas seperti pembuatan kode, ringkasan, atau pengambilan keputusan otonom mendapat manfaat besar dari umpan balik runtime, memungkinkan sistem untuk berkembang melalui pengamatan dan penyempurnaan. Untuk mengoperasionalkan ini, siklus reflekt-perbaikan dapat diimplementasikan sebagai loop kontrol umpan balik yang digerakkan oleh peristiwa - pola yang terinspirasi oleh rekayasa sistem, yang disesuaikan untuk alur kerja yang otonom dan cerdas.

Diagram berikut adalah contoh dari evaluator reflect-refine feedback loop:

Evaluator refleksi-menyempurnakan loop umpan balik.

Lingkaran kontrol umpan balik

Loop kontrol umpan balik adalah pola yang memantau keluaran dan perilakunya sendiri, mengevaluasinya terhadap kriteria yang ditentukan atau keadaan yang diinginkan, dan kemudian menyesuaikan tindakannya sesuai dengan itu. Arsitektur ini terinspirasi oleh teori kontrol dan merupakan dasar dalam domain seperti otomatisasi, integrasi berkelanjutan dan jalur pipa pengiriman berkelanjutan (CI/CD), dan operasi pembelajaran mesin.

Diagram berikut adalah contoh loop kontrol umpan balik:

Lingkaran kontrol umpan balik.

  1. Pipeline penerapan memancarkan peristiwa BuildComplete.

  2. Peristiwa ini memicu pekerjaan pengujian atau evaluasi otomatis yang memvalidasi build.

  3. Jika validasi gagal (misalnya, karena pengujian yang gagal, masalah keamanan, atau pelanggaran kebijakan), sistem:

    • Memancarkan acara BuildComplete

    • Mencatat masalah atau mengirim pemberitahuan

    • Memicu remediasi atau tindakan korektif, seperti rollback, patching, atau coba lagi

Loop berlanjut sampai menghasilkan hasil atau eskalasi yang dapat diterima, atau time out terjadi. Pola ini biasanya digunakan untuk hal-hal berikut:

  • EventBridge Aturan Amazon untuk merutekan acara ke tugas evaluasi atau remediasi

  • AWS Step Functions untuk logika coba lagi berulang dan percabangan pada hasil evaluasi

  • Amazon Simple Notification Service (Amazon SNS) atau alarm CloudWatch Amazon untuk pemicu dan peringatan umpan balik

  • AWS Lambda fungsi atau pekerja kontainer untuk menerapkan tindakan korektif

Lingkaran kontrol umpan balik (evaluator)

Alur kerja evaluator adalah loop umpan balik kognitif yang didukung oleh LLMs atau agen penalaran. Prosesnya terdiri dari yang berikut:

  1. Agen generator atau LLM menghasilkan output (misalnya, rencana, jawaban, atau draf).

  2. Agen evaluator meninjau hasilnya menggunakan prompt kritik atau rubrik evaluasi.

  3. Berdasarkan umpan balik, agen asli atau agen pengoptimal baru merevisi output.

Loop berulang sampai hasilnya memenuhi serangkaian kriteria, disetujui, atau mencapai batas coba lagi.

Penilai

  1. Seorang pengguna meminta agen untuk menulis ringkasan kebijakan.

  2. Agen generator menyusunnya.

  3. Agen evaluator memeriksa cakupan, nada, dan kebenaran hukum.

  4. Jika respons tidak memadai, itu disempurnakan dan dikirim ulang hingga loop umpan balik menyatu.

Ini memungkinkan penilaian diri, penyempurnaan berulang, dan kontrol keluaran adaptif — semuanya tanpa masukan manusia.

Diagram berikut adalah contoh loop kontrol umpan balik (evaluator):

Lingkaran kontrol umpan balik (evaluator).

  1. Seorang pengguna mengeluarkan tugas (misalnya, menyusun strategi bisnis).

  2. Agen Amazon Bedrock menghasilkan draf awal menggunakan LLM.

  3. Agen kedua (atau prompt tindak lanjut) melakukan evaluasi terstruktur (misalnya, “nilai output ini dengan kejelasan, kelengkapan, dan nada”).

  4. Jika peringkat jatuh di bawah ambang batas, respons direvisi oleh:

    • Menerapkan kembali generator dengan kritik tertanam

    • Mengirim umpan balik ke agen penyuling khusus

    • Iterasi sampai respon yang dapat diterima tercapai

Komponen opsional seperti AWS Lambda pengontrol atau AWS Step Functions dapat mengelola ambang umpan balik, percobaan ulang, dan strategi mundur.

Takeaways

Di mana loop kontrol umpan balik tradisional menggunakan peristiwa, metrik, dan logika remediasi untuk memvalidasi dan menyesuaikan perilaku sistem, loop evaluator agen menggunakan agen penalaran untuk mengevaluasi, merefleksikan, dan merevisi output secara dinamis.

Dalam kedua paradigma:

  • Output dievaluasi setelah dihasilkan

  • Tindakan korektif atau pemurnian dipicu berdasarkan umpan balik

  • Sistem terus beradaptasi terhadap kualitas target atau tujuan

Versi agen mengubah validasi statis menjadi refleksi semantik, memungkinkan agen peningkatan diri yang mengevaluasi efektivitas mereka sendiri.