本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。
管理模型字符限制的提示
注意：解決方案不會直接嘗試管理各種 LLMs字符限制。測試並確保您的提示保持在模型提供者強制執行的可用限制內。
若要協助控制提示的大小，請嘗試下列動作：
-
熟悉您想要使用的模型所施加的限制。這些值在各個模型之間可能會有很大的差異，因此在開始之前，請務必了解可用的預算。
-
建立您的初始提示時，請謹記該預算，並考慮要為提示的任何動態元素節省多少成本。例如，使用者輸入、聊天歷史記錄、文件摘錄等。
-
在提示組態頁面中，設定追蹤歷史記錄的大小限制，以限制提示中包含的對話轉彎次數。
-
在知識庫組態精靈中設定文件傳回限制。您需要嘗試在為 LLM 提供足夠的內容來執行任務之間取得正確的平衡，但不能超過字符限制或對延遲造成負面影響。
-
保留一些緩衝區。不要編列典型案例的預算，請考慮並實驗邊緣案例，例如長輸入查詢、大型文件摘錄或長對話。
