Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Alur kerja untuk paralelisasi
Alur kerja ini melibatkan pemecahan tugas menjadi subtugas independen yang dapat ditangani secara bersamaan oleh beberapa panggilan atau agen LLM. Output kemudian digabungkan secara terprogram dan disintesis menjadi hasil.
Alur kerja Paralelisasi digunakan ketika tugas dapat dibagi menjadi subtugas independen dan nonsekuensial yang dapat diproses secara bersamaan, secara signifikan meningkatkan efisiensi, throughput, dan skalabilitas. Ini sangat kuat dalam ruang masalah yang berat data, berorientasi batch, atau multiperspektif di mana agen harus menganalisis atau menghasilkan konten di beberapa input.
Paralelisasi sangat efektif ketika:
-
Subtugas tidak bergantung pada hasil antara satu sama lain, memungkinkan mereka berjalan secara paralel tanpa koordinasi.
-
Tugas melibatkan pengulangan proses penalaran yang sama di banyak item (misalnya, meringkas beberapa dokumen atau mengevaluasi daftar opsi).
-
Berbagai hipotesis atau perspektif dieksplorasi secara paralel untuk mempromosikan keragaman, kreativitas, atau ketahanan.
-
Anda perlu mengurangi latensi untuk permintaan volume tinggi atau frekuensi tinggi melalui eksekusi LLM bersamaan.
-
Alur kerja ini biasanya digunakan dalam agen pengolah dokumen, mesin survei atau perbandingan, ringkasan batch, brainstormer multi-agen, dan tugas klasifikasi atau pelabelan yang dapat diskalakan, terutama di mana penalaran paralel yang cepat merupakan keunggulan kinerja.
Kemampuan
-
Eksekusi paralel tugas LLM (dengan menggunakan AWS Lambda, AWS Fargate, atau status AWS Step Functions peta)
-
Membutuhkan penyelarasan hasil, validasi, atau deduplikasi pada tahap sintesis
-
Sangat cocok untuk loop agen stateless
Kasus penggunaan umum
-
Menganalisis berbagai dokumen atau perspektif secara paralel
-
Menghasilkan beragam konsep, ringkasan, atau rencana
-
Mempercepat throughput di seluruh pekerjaan batch
