پیش‌پردازش داده

پیش‌پردازش داده مجموعه اقداماتی برای آماده‌سازی داده خام پیش از تحلیل یا آموزش مدل است، از جمله پاک‌سازی مقادیر نامعتبر، مدیریت داده‌های گمشده، یکسان‌سازی قالب‌ها و تبدیل ویژگی‌ها.

روش پیش‌پردازش باید با نوع داده و مسئله سازگار باشد. پارامترهایی مانند میانگین و انحراف معیار باید فقط از داده آموزش محاسبه شوند تا اطلاعات مجموعه ارزیابی به فرایند آموزش نشت نکند.

این مفهوم در یک پروژه واقعی

در داده مشتری ممکن است تاریخ‌ها با قالب‌های مختلف ذخیره شده باشند یا سن بعضی افراد خالی باشد. قبل از ساخت مدل باید سیاست تبدیل تاریخ، مدیریت داده گمشده و تشخیص رکورد تکراری روشن شود.

نمونه کوتاه

from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
model = make_pipeline(StandardScaler(), LogisticRegression())
model.fit(X_train, y_train)