در اینجا خلاصه ای کوتاه از آنچه در این دوره یاد گرفتید آمده است:
- درخت تصمیم مدلی متشکل از مجموعه ای از شرایط است که به صورت سلسله مراتبی به شکل درخت سازماندهی شده اند. شرایط به دسته های مختلفی تقسیم می شوند:
- یک شرط تراز محور فقط شامل یک ویژگی است. یک حالت مایل شامل چندین ویژگی است.
- یک شرط باینری دو نتیجه ممکن دارد. یک شرط غیر باینری بیش از دو نتیجه ممکن دارد.
- آموزش درخت تصمیم شامل جستجوی بهترین شرایط در هر گره است. روال تقسیم کننده از معیارهایی مانند افزایش اطلاعات یا جینی برای تعیین بهترین شرایط استفاده می کند.
- جنگل تصمیم حالتی است که از چندین درخت تصمیم ساخته شده است. پیشبینی جنگل تصمیم، تجمیع پیشبینیهای درختان تصمیم آن است.
- جنگل تصادفی مجموعه ای از درختان تصمیم است که در آن هر درخت تصمیم با نویز تصادفی خاصی آموزش داده می شود.
- بگینگ تکنیکی است که در آن هر درخت تصمیم در جنگل تصادفی بر روی زیرمجموعه های متفاوتی از مثال ها آموزش داده می شود.
- جنگلهای تصادفی به مجموعه داده اعتبارسنجی نیاز ندارند. در عوض، بیشتر جنگلهای تصادفی از تکنیکی به نام ارزیابی خارج از کیسه برای ارزیابی کیفیت مدل استفاده میکنند.
- درخت با گرادیان تقویت شده (تصمیم) نوعی جنگل تصمیم است که از طریق تنظیمات تکراری درختان تصمیم ورودی آموزش داده شده است. مقداری به نام انقباض ، سرعت یادگیری درخت (تصمیم گیری) تقویت شده با گرادیان و درجه ای که می تواند بیش از حد برازش کند را کنترل می کند.
مراجع
- تقریب تابع حریص: ماشین تقویت کننده گرادیان ، جی. فریدمن.
- عناصر یادگیری آماری ، ترور هستی. فصل 10.
- مدل های تقویت شده تعمیم یافته: راهنمای بسته gbm ، G. Ridgeway