Uma floresta de decisão é um termo genérico para descrever modelos criados com várias árvores de decisão. A previsão de uma floresta de decisão é a agregação das previsões das árvores de decisão dela. A implementação dessa agregação depende do algoritmo usado para treinar a floresta de decisão. Por exemplo, em uma floresta de classificação aleatória de várias classes (um tipo de floresta de decisão), cada árvore vota para uma única classe, e a previsão de floresta aleatória é a mais representada. Em um árvore de otimização de gradiente binário (GBT) (outro tipo de floresta de decisão), cada árvore gera um logit (um valor de ponto flutuante), e a previsão da árvore de aumento do gradiente é a soma desses valores seguidos de uma função de ativação (por exemplo, sigmoide).
Os dois capítulos a seguir detalham esses dois algoritmos da floresta de decisão.