درخت تصمیم

درخت تصمیم با پرسش‌ها یا شرط‌های متوالی داده را به شاخه‌های کوچک‌تر تقسیم می‌کند تا به پیش‌بینی برسد. هر گره یک شرط و هر برگ خروجی مدل را نشان می‌دهد.

برای طبقه‌بندی و رگرسیون کاربرد دارد و نسبتاً قابل‌توضیح است. درخت بیش‌ازحد عمیق ممکن است داده آموزشی را حفظ کند، محدود کردن عمق و هرس به کنترل بیش‌برازش کمک می‌کند.

یک Decision Tree ممکن است اول شرط مبلغ تراکنش و بعد سابقه مشتری را بررسی کند. عمق زیاد می‌تواند باعث یادگیری جزئیات تصادفی داده آموزش شود.

درخت تصمیم و محدودیت آن

درخت تصمیم با شرط روی ویژگی‌ها مسیر پیش‌بینی می‌سازد و قابل تفسیر است، اما یک درخت عمیق ممکن است بیش‌برازش کند. Random Forest برای کاهش واریانس، نتیجه چند درخت را ترکیب می‌کند.