گرادیان کاهشی

گرادیان کاهشی پارامترهای مدل را در جهت مخالف گرادیان تابع خطا تغییر می‌دهد تا مقدار خطا کاهش یابد.

اندازه گام با Learning Rate تعیین می‌شود. نرخ بزرگ می‌تواند باعث نوسان و نرخ کوچک باعث کندی آموزش شود.

مثال کد

weights = weights - learning_rate * gradients

این مفهوم در یک پروژه واقعی

اگر مدل هر بار در جهت اشتباه گرادیان حرکت کند، خطا بالا می‌رود. انتخاب Learning Rate مناسب و پایش Loss برای آموزش پایدار ضروری است.

در همین واژه‌نامه، شبکه عصبی و یادگیری عمیق از مفاهیم مرتبط هستند.

نرخ یادگیری چه نقشی دارد؟

گرادیان کاهشی پارامترها را در جهت کاهش تابع خطا به‌روز می‌کند. نرخ یادگیری بیش از حد بزرگ ممکن است باعث ناپایداری شود و نرخ خیلی کوچک آموزش را کند می‌کند.