모델 토큰 한도 관리를 위한 팁

사용하려는 모델에서 부과하는 제한을 숙지합니다. 이러한 값은 모델마다 크게 다를 수 있으므로 시작하기 전에 사용 가능한 예산이 무엇인지 아는 것이 중요합니다.

해당 예산을 염두에 두고 초기 프롬프트를 생성하고 프롬프트의 동적 요소에 대해 얼마나 절약할지 고려합니다. 예를 들어 사용자 입력, 채팅 기록, 문서 발췌문 등이 있습니다.

프롬프트 구성 페이지에서 후행 기록 크기 제한을 설정하여 프롬프트에 포함된 대화 전환 수를 제한합니다.

지식 기반 구성 마법사에서 문서 반환 한도를 설정합니다. 작업을 수행하기에 충분한 컨텍스트를 LLM에 제공하는 것 사이에 적절한 균형을 맞춰야 하지만, 토큰 제한을 초과하거나 지연 시간에 부정적인 영향을 미치기에는 그렇게 많지 않아야 합니다.

일부 버퍼를 그대로 둡니다. 일반적인 사례에 맞게 예산을 책정하지 말고 긴 입력 쿼리, 큰 문서 발췌문 또는 긴 대화와 같은 엣지 사례에 대해 생각해 보고 실험해 보세요.