决策森林

决策森林是一个泛指术语，用于描述由多个决策树组成的模型。决策森林的预测结果是其决策树预测结果的聚合。这种聚合的实现取决于用于训练决策森林的算法。例如，在多类别分类随机森林（一种决策森林）中，每个树为单个类别投票，随机森林预测结果是最具代表性的类别。在二元分类梯度提升树 (GBT)（另一种决策森林）中，每个树都会输出一个对数（浮点值），并且梯度提升树预测是这些值后跟激活函数（例如 S 型函数）的总和。

后两章详细介绍了这两种决策森林算法。