TF-IDF روشی برای وزن‌دهی واژه‌ها در اسناد است که فراوانی واژه در یک سند را با میزان کمیاب بودن آن در کل مجموعه ترکیب می‌کند. واژه‌ای که در یک سند پرتکرار اما در اسناد دیگر کم‌کاربرد باشد، معمولاً وزن بیشتری می‌گیرد.

این روش در بازیابی اطلاعات و رتبه‌بندی متنی مفید است، اما معمولاً شباهت واژگانی را بهتر از ارتباط معنایی می‌سنجد. برای جست‌وجوی مفهومی می‌توان آن را با Embedding یا روش‌های دیگر ترکیب کرد.

در عمل چه اتفاقی می‌افتد؟

TF-IDF وزن واژه‌های رایج در تمام اسناد را کاهش می‌دهد. برای جست‌وجوی اصطلاح دقیق مفید است، اما مترادف‌های معنایی را به‌تنهایی نمی‌فهمد.