Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Kiat untuk mengelola batas token model
Catatan: Solusinya tidak secara langsung mencoba mengelola batas token yang diberlakukan oleh berbagai macam LLMs. Uji dan pastikan prompt Anda tetap dalam batas yang tersedia yang diberlakukan oleh penyedia model.
Untuk membantu mengontrol ukuran petunjuk, coba yang berikut ini:
-
Biasakan diri Anda dengan batasan yang diberlakukan oleh model yang ingin Anda gunakan. Nilai-nilai ini dapat berbeda secara dramatis di seluruh model sehingga penting untuk mengetahui berapa anggaran Anda yang tersedia sebelum memulai.
-
Buat prompt awal Anda dengan mempertimbangkan anggaran itu dan pertimbangkan berapa banyak yang ingin Anda simpan untuk elemen dinamis apa pun dari prompt. Misalnya, input pengguna, riwayat obrolan, kutipan dokumen, dan sebagainya.
-
Di halaman konfigurasi prompt, tetapkan batas untuk Ukuran riwayat tambahan untuk membatasi jumlah giliran percakapan yang disertakan dalam prompt.
-
Tetapkan batas pengembalian dokumen di wizard konfigurasi Basis Pengetahuan. Anda perlu mencoba dan mencapai keseimbangan yang tepat antara menyediakan LLM dengan konteks yang cukup untuk melakukan tugas, tetapi tidak melebihi batas token atau memengaruhi latensi secara negatif.
-
Tinggalkan beberapa buffer. Jangan menganggarkan untuk kasus tipikal, pikirkan dan bereksperimen dengan kasus tepi seperti kueri input panjang, kutipan dokumen besar, atau percakapan panjang.
