Backpropagation با قاعده زنجیره‌ای مشتق، گرادیان تابع خطا نسبت به پارامترهای شبکه را از لایه خروجی به لایه‌های قبلی محاسبه می‌کند.
این الگوریتم گرادیان را محاسبه می‌کند اما Optimizer نیست، پس از آن SGD یا Adam پارامترها را به‌روزرسانی می‌کنند.
نکته‌ای که در پروژه‌ها اهمیت دارد
Backpropagation گرادیان وزن‌ها را با قاعده زنجیره‌ای محاسبه می‌کند. پس از آن Optimizer مانند Adam از این گرادیان برای تغییر وزن‌ها استفاده می‌کند.
درک تفاوت این موضوع با شبکه عصبی و یادگیری عمیق به انتخاب راهکار مناسب‌تر کمک می‌کند.
پس‌انتشار و آپدیت وزن یکی نیستند
Backpropagation با قاعده زنجیره‌ای مشتق تابع خطا را نسبت به پارامترها محاسبه می‌کند. Optimizer مانند Adam یا SGD سپس از این گرادیان‌ها برای به‌روزرسانی وزن‌ها استفاده می‌کند.