توکن

Token واحدی از متن است که مدل زبانی آن را پردازش می‌کند. توکن می‌تواند یک واژه کامل، بخشی از واژه، نشانه‌گذاری یا فاصله باشد و مرزبندی آن به Tokenizer مدل وابسته است.

تعداد توکن‌ها بر هزینه استفاده از API، محدودیت Context Window و زمان پردازش اثر دارد، بنابراین تعداد کلمات معیار دقیقی برای تخمین توکن نیست.

یک جمله فارسی ممکن است به تعداد توکن بیشتری از جمله انگلیسی هم‌اندازه تبدیل شود. برای تخمین هزینه باید Tokenizer همان مدل استفاده شود.