ReLU تابع فعال‌سازی‌ای است که برای ورودی منفی صفر و برای ورودی مثبت همان مقدار ورودی را برمی‌گرداند. سادگی محاسبه و کاهش بخشی از مشکل محوشدن گرادیان آن را به انتخابی رایج تبدیل کرده است.
ReLU برای ورودی منفی گرادیان صفر دارد، اگر نورونی دائماً در این ناحیه بماند ممکن است دیگر به‌روزرسانی نشود. Leaky ReLU یکی از جایگزین‌هاست.
مثالی از مسیر اجرای برنامه
ReLU برای ورودی منفی خروجی صفر دارد. اگر نورون همیشه در همین ناحیه بماند، گرادیان می‌تواند صفر شود و یادگیری آن متوقف بماند.
پیش از اعتماد به نتیجه، داده آزمون مستقل و معیار متناسب با مسئله تعریف کنید. خروجی ظاهراً قانع‌کننده همیشه به معنی عملکرد قابل‌اعتماد نیست.