NLP حوزهای از هوش مصنوعی است که به تحلیل، درک و تولید زبان انسانی میپردازد. جستوجوی متنی، تحلیل احساسات، ترجمه و خلاصهسازی از کاربردهای آن هستند.
زبان طبیعی مبهم و وابسته به زمینه است، عملکرد مدل باید روی زبان و دامنه هدف ارزیابی شود.
از استخراج نام اشخاص از متن قرارداد تا خلاصهسازی مقاله، NLP کاربرد دارد. کیفیت مدل فارسی را نمیتوان فقط با بنچمارک انگلیسی سنجید.
درک تفاوت این موضوع با توکنسازی و بردارهای تعبیهشده واژه به انتخاب راهکار مناسبتر کمک میکند.