决策森林

决策森林是一个通用术语，用于描述由多个决策树组成的模型。决策森林的预测是其决策树预测的汇总。此汇总的实现取决于用于训练决策树的算法。例如，在多类分类随机森林（一种决策森林）中，每棵树都会投票给一个类，而随机森林预测结果是得票最多的类。在二分类梯度提升树 (GBT)（另一种决策森林）中，每个树都会输出一个 logit（一个浮点值），而梯度提升树预测是这些值的总和，后跟一个激活函数（例如 Sigmoid）。

接下来的两个章节详细介绍了这两种决策树算法。