Paralelisasi dan pola scatter-gathering - AWS Bimbingan Preskriptif
Scatter-kumpulkanParalelisasi berbasis LLM (kognisi scatter-gathering)Paralelisasi agenTakeaways

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Paralelisasi dan pola scatter-gathering

Banyak tugas penalaran dan pembuatan tingkat lanjut - seperti meringkas dokumen besar, mengevaluasi beberapa jalur solusi, atau membandingkan perspektif yang beragam - mendapat manfaat dari eksekusi paralel petunjuk. Alur kerja berurutan tradisional gagal ketika skalabilitas, responsif, dan toleransi kesalahan diperlukan. Untuk mengatasinya, paralelisasi berbasis LLM dapat ditata ulang menggunakan pola scatter-gathering yang digerakkan oleh peristiwa, di mana tugas secara dinamis menyebar ke agen otonom dan hasilnya disintesis secara cerdas.

Diagram berikut adalah contoh alur kerja paralelisasi LLM:

Paralelisasi LLM.

Scatter-kumpulkan

Dalam sistem terdistribusi, pola scatter-gathering mengirimkan tugas ke beberapa layanan atau unit pemrosesan secara paralel, menunggu tanggapan mereka, dan kemudian mengumpulkan hasil menjadi output terkonsolidasi. Tidak seperti fan-out, scatter-gathering dikoordinasikan karena mengharapkan respons dan biasanya menerapkan logika untuk menggabungkan, membandingkan, dan memilih hasil.

Implementasi umum untuk paralelisasi dan scatter-gathering meliputi:

  • AWS Step Functions memetakan status untuk eksekusi tugas paralel

  • AWS Lambda dengan konkurensi, mengoordinasikan hasil dari beberapa fungsi yang dipanggil

  • Amazon EventBridge dengan alur kerja korelasi IDs dan agregasi

  • Pola pengontrol khusus untuk mengelola fan-out dan mengumpulkan hasil dengan menggunakan Amazon Simple Storage Service (Amazon S3), Amazon DynamoDB, atau antrian

Diagram berikut adalah contoh scatter-gathering:

Sebar-kumpulkan.

  1. Pengguna mengirimkan permintaan ke fungsi koordinator pusat yang menyebarkan tugas dengan menerbitkan pesan paralel ke topik Amazon Simple Notification Service (Amazon SNS).

  2. Setiap pesan mencakup metadata tugas dan diarahkan ke pekerja khusus. AWS Lambda

  3. Setiap pekerja AWS Lambda secara independen memproses subtugas yang ditetapkan (misalnya, menanyakan API eksternal, memproses dokumen, dan menganalisis data).

  4. Hasil ditulis ke lapisan penyimpanan umum, seperti Amazon Simple Queue Service (Amazon SQS).

  5. Fungsi agregator menunggu semua tanggapan selesai, dan kemudian melakukan hal berikut:

    • Mengumpulkan dan mengumpulkan hasil (misalnya, menggabungkan ringkasan, memilih kecocokan terbaik)

    • Mengirim respons akhir atau memicu alur kerja hilir

Kasus penggunaan umum untuk pola scatter-gathering meliputi yang berikut:

  • Pencarian federasi

  • Mesin perbandingan harga

  • Analisis data agregat

  • Inferensi multimodel

Paralelisasi berbasis LLM (kognisi scatter-gathering)

Dalam sistem agen, paralelisasi sangat mencerminkan scatter-gathering dengan mendistribusikan subtugas di beberapa panggilan atau agen LLM, masing-masing secara independen bernalar melalui sebagian masalah. Hasil yang dikembalikan dikumpulkan dan disintesis oleh proses agregasi, yang seringkali merupakan LLM atau agen pengontrol lainnya.

Paralelisasi agen

  1. Seorang agen mengajukan permintaan “Ringkas wawasan di 10 laporan ini.”

  2. Ini menyebarkan laporan ke 10 tugas ringkasan LLM paralel.

  3. Ketika mengembalikan semua ringkasan, agen melakukan hal berikut:

    • Agregat ringkasan menjadi briefing terpadu

    • Mengidentifikasi tema atau kontradiksi

    • Mengirim output yang disintesis ke pengguna

Alur kerja agen ini memungkinkan penalaran paralel yang dapat diskalakan, modular, dan adaptif. Ini sangat ideal untuk kasus penggunaan yang membutuhkan throughput kognitif tinggi.

Diagram berikut adalah contoh paralelisasi agen:

Paralelisasi agen.

  1. Seorang pengguna mengirimkan kueri multipart atau set dokumen.

  2. Pengontrol AWS Lambda atau fungsi langkah mendistribusikan subtugas. Setiap tugas memanggil panggilan Amazon Bedrock LLM atau subagent dengan prompt sendiri.

  3. Ketika panggilan dan subtugas selesai, hasil disimpan (misalnya, di Amazon S3 atau penyimpanan memori), dan langkah agregasi menggabungkan, membandingkan, atau memfilter output.

  4. Sistem mengembalikan respons akhir kepada pengguna atau agen hilir.

Sistem ini memiliki loop penalaran terdistribusi dengan ketertelusuran, toleransi kesalahan, dan pembobotan hasil opsional atau logika seleksi.

Takeaways

Paralelisasi agen menggunakan pola scatter-gathering untuk mendistribusikan tugas LLM, memungkinkan pemrosesan paralel dan sintesis hasil cerdas.