نشت اطلاعات در مدل

Data Leakage زمانی رخ می‌دهد که مدل هنگام آموزش به اطلاعاتی دسترسی پیدا کند که در زمان پیش‌بینی واقعی در دسترس نخواهند بود یا نباید از مجموعه آزمون به آموزش منتقل شوند.

یک سناریوی واقعی

اگر برای پیش‌بینی لغو اشتراک از فیلدی استفاده شود که فقط پس از لغو ثبت می‌شود، ارزیابی مدل ظاهراً عالی اما غیرواقعی خواهد بود.

تقسیم صحیح داده‌ها، پیش‌پردازش داخل Fold و کنترل ویژگی‌های آینده‌نگر به پیشگیری از نشت اطلاعات کمک می‌کنند.

برای تکمیل بحث، ارتباط این مفهوم را با دیتاست و ترینینگ ست بررسی کنید.

نشت داده در ارزیابی مدل

اگر میانگین و انحراف معیار با کل دیتاست از جمله Test Set محاسبه شود، اطلاعات مجموعه تست وارد آموزش می‌شود. پیش‌پردازش وابسته به داده باید داخل Pipeline و تنها با بخش Train همان نوبت Fit شود.