Hutan keputusan adalah istilah umum untuk mendeskripsikan model yang dibuat dari beberapa pohon keputusan. Prediksi hutan keputusan adalah agregasi prediksi pohon keputusannya. Implementasi agregasi ini bergantung pada algoritme yang digunakan untuk melatih hutan keputusan. Misalnya, dalam hutan acak klasifikasi multi-class (jenis hutan keputusan), setiap pohon memilih satu class, dan prediksi hutan acak adalah class yang paling banyak diwakili. Dalam gradien klasifikasi biner Pohon yang ditingkatkan (GBT) (jenis lain dari hutan keputusan), setiap pohon menghasilkan logit (nilai floating point), dan prediksi pohon yang ditingkatkan gradien adalah jumlah dari nilai-nilai tersebut diikuti oleh fungsi aktivasi (misalnya, sigmoid).
Dua bab berikutnya menguraikan dua algoritme hutan keputusan itu.