نرخ یادگیری اندازه تغییر پارامترهای مدل را در هر گام بهینه‌سازی مشخص می‌کند و بر سرعت و پایداری آموزش اثر دارد.
نرخ بزرگ ممکن است باعث ناپایداری شود و نرخ بسیار کوچک آموزش را طولانی کند. Schedulerها نرخ را در طول آموزش تغییر می‌دهند.
اگر Learning Rate بیش‌ازحد بزرگ باشد، خطای مدل ممکن است به‌جای کاهش، نوسان کند. نمودار Loss در طول Epochها می‌تواند برای تشخیص این رفتار مفید باشد.
درک تفاوت این موضوع با شبکه عصبی و یادگیری عمیق به انتخاب راهکار مناسب‌تر کمک می‌کند.