بودجه توکن

Token Budget میزان توکن مجاز برای مجموعه ورودی، زمینه ابزار و خروجی مدل است. این بودجه برای کنترل هزینه و محدودیت کانتکست تعیین می‌شود.

کجا استفاده می‌شود؟

در RAG می‌توان سقفی برای قطعات بازیابی‌شده و پاسخ نهایی تعریف کرد.

اشتباه رایج

افزایش قطعه‌ها همیشه کیفیت را بیشتر نمی‌کند و ممکن است اطلاعات مهم را در زمینه شلوغ پنهان کند.

بودجه توکن در کار با LLM

محدودیت ورودی مدل، خروجی مجاز، هزینه و مقدار فضای لازم برای پاسخ در طراحی Prompt اهمیت دارند. متن طولانی غیرضروری ممکن است اطلاعات مهم را از Context Window بیرون ببرد.