הנה סיכום קצר של מה שלמדתם בקורס:
- עץ החלטות הוא מודל
מורכב מאוסף של
התנאים מאורגנים
בפורמט היררכי של עץ. יש מגוון תנאים
קטגוריות:
- יישור לציר התנאי כולל בתכונה אחת בלבד. אלכסון התנאי כולל מספר תכונות.
- אדף בינארי יש שני מצבים אפשריים ואת התוצאות שלו. אסמכתה לא בינארית התנאי כולל יותר מ- שתי תוצאות אפשריות.
- אימון עץ החלטות כרוך בחיפוש התנאי הטוב ביותר בכל צומת. התרחיש splitter משתמש במדדים כמו מידע רווח או Gini כדי לקבוע איזו מהן הכי טובה תנאי.
- יער החלטות הוא מצב של כמה עצי החלטות. החיזוי של יער החלטה הוא סיכום החיזויים של עצי ההחלטות שלו.
- יער אקראי הוא אוסף של עצי החלטות שבהם כל עץ החלטות מאומן באמצעות לרעש אקראי ספציפי.
- Bagging היא שיטה שבה כל עץ החלטות ביער האקראי מאומן על קבוצת משנה שונה של דוגמאות.
- יערות אקראיים לא מחייבים מערך נתונים לאימות. במקום זאת, רוב אקראיות ביערות משתמשים בשיטה שנקראת out-of-bag-evaluation כדי להעריך את איכות המודל.
- הוגדל הדרגתי (החלטה) עץ הוא סוג של יער החלטות שמאומן באמצעות התאמות איטרטיביות של קלט עצי ההחלטות. ערך שנקרא כיווץ קובע את הקצב שעץ הדרגתי מוגדל (החלטות) לומד ואת המידה שלו יכול להתאים.
קובצי עזר
- קירוב לפונקציה Greedy: קידום הדרגתי מכונה, י. פרידמן.
- היסודות של נתונים סטטיסטיים הלמידה, טרבור הסטי. פרק 10.
- מודלים כלליים משופרים: מדריך לשימוש ב-GBM חבילה, ג. Ridgeway