بهینه‌ساز

Optimizer با استفاده از گرادیان‌ها پارامترهای مدل را به‌روزرسانی می‌کند تا تابع خطا کاهش یابد. SGD و Adam از گزینه‌های متداول‌اند.

بهینه‌ساز با تابع زیان و نرخ یادگیری همکاری می‌کند و جایگزین آن‌ها نیست.

یک سناریوی کاربردی

Adam و SGD هر دو پارامتر را با گرادیان تغییر می‌دهند اما روش محاسبه اندازه گام متفاوت است. هیچ Optimizer در همه مسائل بهترین نیست.

بهینه‌سازهای رایج شبکه عصبی

SGD، Adam و AdamW از روش‌های رایج‌اند. انتخاب بهینه‌ساز بر همگرایی و رفتار Regularization اثر می‌گذارد. مقایسه آن‌ها باید با نرخ یادگیری و سایر تنظیمات متناسب انجام شود.