Une forêt de décision est un terme générique désignant des modèles composés de plusieurs arbres de décision. La prédiction d'une forêt de décision correspond à l'agrégation des prédictions de ses arbres de décision. La mise en œuvre de cette agrégation dépend de l'algorithme utilisé pour entraîner la forêt de décision. Par exemple, dans une forêt aléatoire de classification à classes multiples (un type de forêt de décision), chaque arbre vote pour une seule classe, et la prédiction de forêt aléatoire est la classe la plus représentée. Dans un arbre de décision à boosting de gradient de classification binaire (GBT) (un autre type de forêt de décision), chaque arbre génère une fonction logit (valeur à virgule flottante), et la prédiction en arbre de décision à boosting de gradient correspond à la somme de ces valeurs, suivie d'une fonction d'activation (par exemple, sigmoïde).
Les deux chapitres suivants détaillent ces algorithmes.