决策树：检查您的理解情况

在本页面中，您将回答关于“训练决策树”单元中讨论的一系列多选题练习。

问题 1

将数值特征替换为负值（例如，将值 +8 更改为 -8）会产生确切的数值拆分器有何影响？

系统会学习相同的条件；只有正子/负子会切换。

太棒了

学习不同的条件，但决策树的整体结构将保持不变。

如果设施发生变化，条件也会发生变化。

决策树的结构将完全不同。

实际上，决策树的结构几乎完全相同。不过，条件会发生变化。

问题 2

哪两个答案最准确地描述了在 X 中仅测试一半（随机选择）的候选阈值的效果？

信息增益将高于或等于。

信息增益将低于或等于。

非常棒。

最终决策树的测试准确率会较低。

最终的决策树将无法提高训练准确率。

非常棒。

问题 3

如果“信息增益”曲线与“阈值”曲线有多个局部最大值，会发生什么情况？

不可能有多个局部最大值。

可能存在多个本地最大值。

该算法会选择阈值最小的局部最大值。

算法会选择全局最大值。

非常棒。

问题 4

计算以下拆分的信息增益：

节点	正面示例数量	反例数量
父节点	10	6
第一个孩子	8	2
第二个孩子	2	4

点击该图标即可查看答案。

# Positive label distribution
p_parent = 10 / (10+6) # = 0.625
p_child_1 = 8 / (8+2) # = 0.8
p_child_2 = 2 / (2+4) # = 0.3333333

# Entropy
h_parent = -p_parent * log(p_parent) - (1-p_parent) * log(1-p_parent) # = 0.6615632
h_child_1 = ... # = 0.5004024
h_child_2 = ... # = 0.6365142

# Ratio of example in the child 1
s = (8+2)/(10+6)
f_final = s * h_child_1 + (1-s) * h_child_2 # = 0.5514443

information_gain = h_parent - f_final # = 0.1101189

---