Loss Function اختلاف خروجی پیش‌بینی‌شده و مقدار هدف را به عددی قابل‌بهینه‌سازی تبدیل می‌کند. Cross-Entropy در طبقه‌بندی و MSE در رگرسیون رایج‌اند.
کاهش Loss لزوماً بهبود همه معیارهای عملیاتی را تضمین نمی‌کند. تابع زیان باید با مسئله و خروجی مدل سازگار باشد.
برای پیش‌بینی عدد می‌توان MSE و برای طبقه‌بندی Cross-Entropy را بررسی کرد. معیار ارزیابی عملیاتی ممکن است با تابع زیان متفاوت باشد.
درک تفاوت این موضوع با شبکه عصبی و یادگیری عمیق به انتخاب راهکار مناسب‌تر کمک می‌کند.