डिसिज़न फ़ॉरेस्ट एक सामान्य शब्द है, जो कई डिसीज़न ट्री से बने मॉडल के बारे में बताता है. डिसीज़न फ़ॉरेस्ट का अनुमान, यह तय करने के लिए कि इसके लिए जो फ़ैसले लिए गए हैं, उनका अनुमान कितना अहम है. इस एग्रीगेशन को लागू करना एल्गोरिदम पर निर्भर करता है. इसका इस्तेमाल फ़ैसला लेने वाले जंगल को ट्रेनिंग देने के लिए किया जाता है. उदाहरण के लिए, अलग-अलग कैटगरी वाले किसी भी कैटगरी में आने वाले जंगलों (एक तरह का डिसीज़न फ़ॉरेस्ट) के मामले में, हर पेड़ एक ही वोट को वोट देता है और रैंडम जंगल का अनुमान लगाने की दिशा में सबसे ज़्यादा जानकारी दी जाती है. बाइनरी क्लासिफ़िकेशन ग्रेडिएंट ट्री (जीबीटी) (एक अन्य तरह का फ़ैसला जंगल) में, हर पेड़ एक लॉगिट (फ़्लोटिंग पॉइंट वैल्यू) तय करता है. वहीं, ग्रेडिएंट बूस्टेड 'अनुमान' उन वैल्यू का कुल योग होता है जो ऐक्टिवेशन फ़ंक्शन (उदाहरण के लिए, सिगॉइड) के बाद आता है.
अगले दो चैप्टर में, फ़ैसला लेने वाले फ़ॉरेस्ट एल्गोरिदम के बारे में जानकारी दी गई है.