در اینجا خلاصه ای کوتاه از آنچه در این دوره یاد گرفتید آمده است:
- درخت تصمیم مدلی متشکل از مجموعه ای از شرایط است که به صورت سلسله مراتبی به شکل درخت سازماندهی شده اند. شرایط به دسته های مختلفی تقسیم می شوند:
- یک شرط تراز محور فقط شامل یک ویژگی است. یک حالت مایل شامل چندین ویژگی است.
- یک شرط باینری دو نتیجه ممکن دارد. یک شرط غیر باینری بیش از دو نتیجه ممکن دارد.
- آموزش درخت تصمیم شامل جستجوی بهترین شرایط در هر گره است. روال تقسیم کننده از معیارهایی مانند افزایش اطلاعات یا جینی برای تعیین بهترین شرایط استفاده می کند.
- جنگل تصمیم حالتی است که از چندین درخت تصمیم ساخته شده است. پیشبینی جنگل تصمیم، تجمیع پیشبینیهای درختان تصمیم آن است.
- جنگل تصادفی مجموعه ای از درختان تصمیم است که در آن هر درخت تصمیم با نویز تصادفی خاصی آموزش داده می شود.
- بگینگ تکنیکی است که در آن هر درخت تصمیم در جنگل تصادفی بر روی زیرمجموعه های متفاوتی از مثال ها آموزش داده می شود.
- جنگلهای تصادفی به مجموعه داده اعتبارسنجی نیاز ندارند. در عوض، بیشتر جنگلهای تصادفی از تکنیکی به نام ارزیابی خارج از کیسه برای ارزیابی کیفیت مدل استفاده میکنند.
- درخت با گرادیان تقویت شده (تصمیم) نوعی جنگل تصمیم است که از طریق تنظیمات تکراری درختان تصمیم ورودی آموزش داده شده است. مقداری به نام انقباض، سرعت یادگیری درخت (تصمیم گیری) تقویت شده با گرادیان و درجه ای که می تواند بیش از حد برازش کند را کنترل می کند.
مراجع
- تقریب تابع حریص: ماشین تقویت کننده گرادیان ، جی. فریدمن.
- عناصر یادگیری آماری ، ترور هستی. فصل 10.
- مدل های تقویت شده تعمیم یافته: راهنمای بسته gbm ، G. Ridgeway