Merutekan pola pengiriman dinamis - AWS Bimbingan Preskriptif
Pengiriman dinamisPerutean berbasis LLMRouter agenTakeaways

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Merutekan pola pengiriman dinamis

Dalam sistem agen modern, di mana tugas berkisar dari penguraian dokumen hingga pembuatan perangkat lunak otonom, kemampuan untuk merutekan permintaan secara dinamis ke model bahasa besar (LLM) atau agen yang paling mampu menjadi penting. Logika perutean statis, sering tertanam dalam skrip orkestrasi atau lapisan API, tidak memiliki kemampuan beradaptasi yang diperlukan untuk lingkungan real-time, multi-model, multi-kemampuan. Untuk mengatasi hal ini, alur kerja perutean LLM dapat diubah menjadi arsitektur berbasis peristiwa yang memanfaatkan pola pengiriman dinamis, mengubah panggilan LLM menjadi peristiwa yang diarahkan secara cerdas dan sadar konteks.

Diagram berikut adalah contoh perutean LLM:

Perutean LLM.

Pengiriman dinamis

Dalam sistem terdistribusi tradisional, pola pengiriman dinamis memilih dan memanggil layanan tertentu saat runtime berdasarkan atribut peristiwa yang masuk, seperti jenis peristiwa, sumber, dan muatan. Ini biasanya diterapkan menggunakan Amazon EventBridge, yang dapat mengevaluasi dan merutekan peristiwa yang masuk ke target yang sesuai (misalnya, AWS Lambda fungsi AWS Step Functions, atau tugas Amazon Elastic Container Service).

Diagram berikut adalah contoh pengiriman dinamis:

Pengiriman dinamis.

  1. Aplikasi memancarkan peristiwa (misalnya, {"type”: “orderCreated”, “priority”: “high"}).

  2. Amazon EventBridge mengevaluasi acara tersebut terhadap aturan peruteannya.

  3. Berdasarkan atribut acara, sistem secara dinamis mengirimkan ke yang berikut:

    • HighPriorityOrderProcessor(layanan A)

    • StandardOrderProcessor(layanan B)

    • UpdateOrderProcessor(layanan C)

Pola ini mendukung kopling longgar, spesialisasi berbasis domain, dan ekstensibilitas runtime. Hal ini memungkinkan sistem untuk merespons secara cerdas terhadap perubahan persyaratan dan semantik peristiwa.

Perutean berbasis LLM

Dalam sistem agen, perutean juga melakukan pendelegasian tugas dinamis — tetapi alih-alih EventBridge aturan Amazon atau filter metadata, LLM mengklasifikasikan dan menafsirkan maksud pengguna melalui bahasa alami. Hasilnya adalah bentuk pengiriman yang fleksibel, semantik, dan adaptif.

Router agen

Arsitektur ini memungkinkan pengiriman berbasis niat yang kaya tanpa skema atau jenis acara yang telah ditentukan sebelumnya, yang ideal untuk input tidak terstruktur dan kueri kompleks.

  1. Seorang pengguna mengajukan permintaan “Dapatkah Anda membantu saya meninjau persyaratan kontrak saya?”

  2. LLM menafsirkan ini sebagai tugas dokumen hukum.

  3. Agen merutekan tugas ke satu atau beberapa hal berikut:

    • Templat prompt peninjauan kontrak

    • Penalaran hukum subagent

    • Alat penguraian dokumen

Diagram berikut adalah contoh router agen:

Router agen.

  1. Pengguna mengirimkan permintaan bahasa alami melalui SDK.

  2. Agen Amazon Bedrock menggunakan LLM untuk mengklasifikasikan tugas (misalnya, hukum, teknis, atau penjadwalan).

  3. Agen secara dinamis merutekan tugas melalui grup tindakan untuk memanggil agen yang diperlukan:

    • Agen khusus domain

    • Rantai alat khusus

    • Konfigurasi prompt kustom

  4. Handler yang dipilih memproses tugas dan mengembalikan respons yang disesuaikan.

Takeaways

Jika pengiriman dinamis tradisional menggunakan EventBridge aturan Amazon untuk perutean berdasarkan atribut peristiwa terstruktur, perutean agen digunakan untuk secara semantik mengklasifikasikan dan LLMs merutekan tugas berdasarkan makna dan maksud. Ini memperluas fleksibilitas sistem dengan mengaktifkan hal-hal berikut:

  • Pemahaman masukan yang lebih luas

  • Fallback cerdas dan pemilihan alat

  • Ekstensibilitas alami melalui peran agen baru atau gaya prompt

Perutean agen menggantikan aturan kaku dengan pengiriman kognitif dinamis, yang memungkinkan sistem berkembang dengan bahasa daripada kode.