Лес решений — это общий термин для описания моделей, состоящих из нескольких деревьев решений. Прогноз леса решений — это совокупность прогнозов его деревьев решений. Реализация этой агрегации зависит от алгоритма, используемого для обучения леса решений. Например, в случайном лесу с многоклассовой классификацией (тип леса принятия решений) каждое дерево голосует за один класс, а предсказание случайного леса является наиболее представленным классом. В дереве с градиентным усилением бинарной классификации (GBT) (другой тип леса решений) каждое дерево выводит логит (значение с плавающей запятой), а предсказание дерева с градиентным усилением представляет собой сумму этих значений, за которыми следует функция активации (например, сигмовидная ).
Следующие две главы подробно описывают эти два алгоритма принятия решений.