在本单元,您将使用 YDF (Yggdrasil Decision Forest) 库训练并解读决策树。
本单元的灵感来自 🧭? YDF 使用入门教程。
预备知识
在研究数据集之前,请执行以下操作:
- 创建一个新的 Colab 笔记本。
- 在新的 Colab 笔记本中放置并执行以下代码行,以安装 YDF 库:
!pip install ydf -U
- 导入以下库:
import ydf import numpy as np import pandas as pd
帕默企鹅数据集
此 Colab 使用 帕尔默企鹅数据集,其中包含三种企鹅物种的尺寸测量值:
- 肩带
- 巴布亚
- 阿德利
这是一个分类问题 - 目标是根据 Palmer's Penguins 数据集中的数据预测企鹅的种类。以下是企鹅:
图 16. 三种不同的企鹅。图片提供者:@allisonhorst
以下代码会调用 Pandas 函数,以将 Palmer Penguins 数据集加载到内存中:
path = "https://storage.googleapis.com/download.tensorflow.org/data/palmer_penguins/penguins.csv"
dataset = pd.read_csv(path)
label = "species"
# Display the first 3 examples.
dataset.head(3)
下表将设置 Palmer Penguins 数据集中前 3 个样本的格式:
表 3. 帕默企鹅的前 3 个样本
物种 | 海岛 | bill_length_mm | bill_depth_mm | flipper_length_mm | body_mass_g | 性别 | 年 | |
---|---|---|---|---|---|---|---|---|
数字 0 | 阿德利 | 托格森 | 39.1 岁 | 土耳其里拉 | 181.0 | 3,750.0 | 男性 | 2007 年 |
1 | 阿德利 | 托格森 | 39.5 岁 | 17.4 岁 | 186.0 | 3,800.0 | 女性 | 2007 年 |
2 | 阿德利 | 托格森 | 土耳其里拉 | 土耳其里拉 | 195.0 | 3,250.0 | 女性 | 2007 年 |
完整数据集包含数值特征(例如 bill_depth_mm
)、分类特征(例如 island
)和缺失特征。与神经网络不同,决策森林本身支持所有这些功能类型,因此您不必执行独热编码、归一化或额外 is_present 特征。
# Use the ~20% of the examples as the testing set
# and the remaining ~80% of the examples as the training set.
np.random.seed(1)
is_test = np.random.rand(len(dataset)) < 0.2
train_dataset = dataset[~is_test]
test_dataset = dataset[is_test]
print("Training examples: ", len(train_dataset))
# >> Training examples: 272
print("Testing examples: ", len(test_dataset))
# >> Testing examples: 72
使用默认超参数训练决策树
您可以使用 CART(分类和回归树)学习算法(也称为学习器)训练第一个决策树,而无需指定任何超参数。这是因为 ydf.CartLearner
学习器提供了良好的默认超参数值。在本课程的后面部分,您将详细了解此类模型的工作原理。
model = ydf.CartLearner(label=label).train(train_dataset)
前面的调用未指定要用作输入特征的列。因此,将使用训练集内的每一列。该调用也未指定输入特征的语义(例如数值、分类、文本)。因此,系统会自动推断特征语义。
调用 model.plot_tree()
以显示生成的决策树:
model.plot_tree()
在 Colab 中,您可以使用鼠标显示特定元素的详细信息,例如每个节点中的类分布。
图 17. 使用默认超参数训练的决策树。
Colab 显示,根条件包含 243 个样本。但是,您可能还记得训练数据集包含 272 个样本。剩余的 29 个样本已自动预留,用于验证和树状剪枝。
第一个条件测试 bill_depth_mm
的值。表 4 和表 5 显示了根据第一种条件的结果,不同物种的可能性。
表 4. 如果 bill_depth_mm ≥
42.3
,则不同物种的可能性
种类 | 可能性 |
---|---|
Adelie(红色) | 8% |
巴布亚风格(蓝色) | 58% |
肩带(绿色) | 36% |
表 5. 如果 bill_depth_mm < 42.3
,则不同物种的可能性
品种 | 可能性 |
---|---|
Adelie(红色) | 97% |
巴布亚风格(蓝色) | 2% |
肩带(绿色) | 0% |
bill_depth_mm
是数值特征。因此,我们使用通过数值特征进行二元分类的精确拆分算法找到了值 42.3。
如果 bill_depth_mm ≥ 42.3
为 True,则进一步测试 flipper_length_mm ≥ 207.5
是否可以几乎完全区分 Gentoos 和 Gentoos+Adelie。
以下代码提供了模型的训练和测试准确率:
train_evaluation = model.evaluate(train_dataset)
print("train accuracy:", train_evaluation.accuracy)
# >> train accuracy: 0.9338
test_evaluation = model.evaluate(test_dataset)
print("test accuracy:", test_evaluation.accuracy)
# >> test accuracy: 0.9167
测试准确率高于训练准确率这种情况很少见,但有可能。在这种情况下,测试集可能与训练集不同。 不过,情况并非如此,因为训练和测试是随机拆分的。更可能的原因是测试数据集非常小(只有 72 个样本),因此准确率估算很嘈杂。
在实践中,对于这种小型数据集,最好使用交叉验证,因为它可以计算出更准确的评估指标值。不过,在此示例中,为简单起见,我们继续进行训练和测试。
改进模型超参数
该模型是使用默认超参数值训练的单个决策树。为了获得更好的预测结果,您可以:
由于我们尚未看到随机森林和梯度提升树算法,而且样本数量太少,无法进行自动超参数调节,因此您需要手动改进模型。
上面显示的决策树很小,而包含 61 个样本的叶子又包含 Adelie 和 Chinstrap 标签。为什么算法没有进一步划分这片树叶?造成这种情况的原因可能有两种:
- 可能已达到每叶样本数下限(默认为
min_examples=5
)。 - 为了防止出现过拟合,为防止出现过拟合,为了避免出现模型过拟合的情况,为避免了过度拟合,树可能进行了拆分,然后再进行剪枝。
将最小示例数减少到 1,看看结果:
model = ydf.CartLearner(label=label, min_examples=1).train(train_dataset)
model.plot_tree()
图 18. 使用 min_examples=1 进行训练的决策树。
包含 61 个样本的叶节点经过了多次进一步划分。
为了确认进一步划分节点是否有价值,我们会在测试数据集上评估这个新模型的质量:
print(model.evaluate(test_dataset).accuracy)
# >> 0.97222
模型质量有所提高,测试准确率从 0.9167 提高至 0.97222。这种超参数更改是个好主意。
决策森林的上一个
通过继续改进超参数,我们有可能达到完美的准确率。不过,我们可以训练一个更强大的模型(例如随机森林),看看模型是否效果更好,而不是这种手动过程。
model = ydf.RandomForestLearner(label=label).train(pandas_train_dataset)
print("Test accuracy: ", model.evaluate(pandas_test_dataset).accuracy)
# >> Test accuracy: 0.986111
随机森林的准确率优于简单树。在接下来的几页中,您将了解原因。
使用和限制
如前所述,单个决策树的质量通常低于随机森林、梯度提升树和神经网络等现代机器学习方法。不过,决策树在下列情况下仍然有用:
- 作为评估复杂方法的简单且实惠的基准。
- 在模型质量与可解释性之间进行权衡取舍时。
- 用作解释决策森林模型的代理,本课程稍后将进行介绍。