تابع فعال‌سازی

تابع فعال‌سازی خروجی نورون را پس از ترکیب ورودی‌ها تبدیل می‌کند. نقش مهم آن وارد کردن غیرخطی‌بودن به شبکه است، بدون آن چند لایه خطی معادل یک تبدیل خطی می‌شوند.

ReLU، Sigmoid و Tanh از توابع رایج‌اند و انتخاب آن‌ها بر جریان گرادیان و رفتار آموزش اثر دارد.

اگر تمام لایه‌های شبکه فقط عملگر خطی داشته باشند، مدل ترکیبی خطی باقی می‌ماند. تابع فعال‌سازی غیرخطی امکان یادگیری روابط پیچیده‌تر را فراهم می‌کند.

تابع فعال‌سازی چرا مهم است؟

بدون غیرخطی بودن، ترکیب چند لایه خطی همچنان یک تبدیل خطی خواهد بود. ReLU و GELU به شبکه امکان مدل‌سازی رابطه‌های پیچیده‌تر را می‌دهند، هرچند رفتار Gradient آن‌ها متفاوت است.