יערות עם החלטות

יער החלטות הוא מונח כללי שמתאר מודלים שמכילים כמה עצי החלטות. התחזית של יער החלטות היא צבירת התחזיות של עצי ההחלטות שלו. ההטמעה של הצבירה הזו תלויה באלגוריתם שמשמש לאימון יער ההחלטות. לדוגמה, ב-Random Forest (סוג של יער החלטות) לסיווג בכמה כיתות, כל עץ מצביע על כיתה אחת, והחיזוי של Random Forest הוא הכיתה שמיוצגת ביותר. בהגדרה של עץ עם שיפור שיפוע (GBT) לסיווג בינארי (סוג אחר של יער החלטות), כל עץ מניב לוגיטים (ערך של נקודה צפה), והחיזוי של עץ עם שיפור שיפוע הוא הסכום של הערכים האלה, ולאחר מכן פונקציית הפעלה (למשל, סיגמויד).

בשני הפרקים הבאים מוסבר בפירוט על שני האלגוריתמים של יערות ההחלטות.