下面简要介绍了您在本课程中学到的内容:
- 决策树是一种模型, 由 整理的条件 和树状结构一样分层条件分为 类别:
- 训练决策树涉及在 每个节点splitter 例程 使用各种指标,例如 增益或 Gini 用于确定最佳选择 条件。
- 决策林 一种由多个决策树组成的模式。决策森林的预测 是其决策树预测结果的汇总。
- 随机森林是 决策树集成学习,其中每个决策树都使用 特定随机噪声。
- 袋子是一种技术, 随机森林中的每个决策树都使用一个不同的子集进行训练, 数量。
- 随机森林不需要验证数据集。相反, 一种称为 out-of-bag-evaluation 来评估模型质量。
- 梯度提升(决策) 树 是一种通过基于输入数据进行迭代调整而训练的决策森林, 决策树。名为 Sockage 控制 梯度提升(决策)树学习到的内容及其学习到的程度 可能过拟合
参考
- 贪心函数近似:梯度提升 机器、 的Friedman。
- 统计学的元素 学习, Trevor Hastie。第 10 章:
- 广义提升模型:Gbm 指南 软件包, G。Ridgeway