Drzewa decyzyjne to ogólne określenie reprezentujące modele składające się z wielu drzew decyzyjnych. Przewidywania lasów decyzyjnych to agregacja prognoz drzew. Wdrożenie tej agregacji zależy od algorytmu używanego do trenowania lasu decyzyjnego. Na przykład w klasycznym lesie leśnym (rodzaju lasu decyzyjnego) każde drzewo zalicza się do jednej klasy, a losowy las jest najbardziej reprezentowanym klasem. W drzewie gradientu binarnego z przyrostem (GBT) (innym typem lasu decyzyjnego) każde drzewo generuje logit (wartość zmiennoprzecinkową), a prognoza wzrostu gradientowego stanowi sumę tych wartości, po których następuje funkcja aktywacji (np. sigmoid).
W kolejnych 2 rozdziałach opisujemy te 2 algorytmy lasów decyzyjnych.