توکن‌سازی

Tokenization متن را به واحدهایی به نام Token تقسیم می‌کند که مدل آن‌ها را پردازش می‌کند. توکن الزاماً یک کلمه کامل نیست و می‌تواند بخشی از واژه یا نشانه‌گذاری باشد.

روش توکن‌سازی به زبان و مدل وابسته است و بر هزینه API و محدودیت Context Window اثر می‌گذارد.

مثالی از مسیر اجرای برنامه

Tokenizer یک مدل ممکن است واژه فارسی را به چند Token تقسیم کند. در تخمین هزینه LLM، تعداد نویسه یا کلمه کافی نیست.

در همین واژه‌نامه، پردازش زبان طبیعی و بردارهای تعبیه‌شده واژه از مفاهیم مرتبط هستند.

توکن با کلمه برابر نیست

مدل زبانی ممکن است یک کلمه را به چند توکن بشکند یا چند کاراکتر پرتکرار را یک توکن بداند. شمارش توکن در برآورد هزینه API و طول پنجره زمینه اهمیت دارد.