在本单元中，您将使用 YDF（Yggdrasil 决策森林）库训练和解读决策树。
本单元取材自 🧭 YDF 入门教程。
预赛
在研究数据集之前，请执行以下操作：
- 创建新的 Colab 笔记本。
- 在新的 Colab 笔记本中放置并执行以下代码行，以安装 YDF 库：
!pip install ydf -U - 导入以下库：
import ydf import numpy as np import pandas as pd
Palmer Penguins 数据集
此 Colab 使用 Palmer Penguins 数据集，其中包含三种企鹅的尺寸测量值：
- 下巴带
- Gentoo
- Adelie
这是一个分类问题，目标是根据 Palmer 的企鹅数据集中的数据预测企鹅的种类。企鹅如下：
图 16. 三种不同的企鹅物种。图片：@allisonhorst
以下代码调用 pandas 函数，将 Palmer Penguins 数据集加载到内存中：
path = "https://storage.googleapis.com/download.tensorflow.org/data/palmer_penguins/penguins.csv"
dataset = pd.read_csv(path)
label = "species"
# Display the first 3 examples.
dataset.head(3)
下表格式化了 Palmer Penguins 数据集中的前 3 个示例：
表 3. Palmer Penguins 中的前 3 个示例
| 物种 | 岛屿 | bill_length_mm | bill_depth_mm | flipper_length_mm | body_mass_g | 性别 | 年 | |
|---|---|---|---|---|---|---|---|---|
| 0 | Adelie | Torgersen | 39.1 | 18.7 | 181.0 | 3750.0 | 男 | 2007 |
| 1 | Adelie | Torgersen | 39.5 | 17.4 | 186.0 | 3800.0 | 女性 | 2007 |
| 2 | Adelie | Torgersen | 40.3 | 18.0 | 195.0 | 3250.0 | 女性 | 2007 |
完整数据集包含数值特征（例如 bill_depth_mm）、分类特征（例如 island）和缺失特征的混合。与神经网络不同，决策树原生支持所有这些特征类型，因此您无需进行单热编码、归一化或额外的 is_present 特征。
以下代码单元将数据集拆分为训练集和测试集：
# Use the ~20% of the examples as the testing set
# and the remaining ~80% of the examples as the training set.
np.random.seed(1)
is_test = np.random.rand(len(dataset)) < 0.2
train_dataset = dataset[~is_test]
test_dataset = dataset[is_test]
print("Training examples: ", len(train_dataset))
# >> Training examples: 272
print("Testing examples: ", len(test_dataset))
# >> Testing examples: 72
使用默认超参数训练决策树
您可以使用 CART（分类和回归树）学习算法（也称为学习器）训练第一个决策树，而无需指定任何超参数。这是因为 ydf.CartLearner 学习器提供了良好的默认超参数值。您将在本课程后面的内容中详细了解这种模型的运作方式。
model = ydf.CartLearner(label=label).train(train_dataset)
上述调用未指定要用作输入特征的列。因此，系统会使用训练集中的每个列。该调用还未指定输入特征的语义（例如，数值、分类、文本）。因此，系统会自动推断特征语义。
调用 model.plot_tree() 可显示生成的决策树：
model.plot_tree()
在 Colab 中，您可以使用鼠标显示有关特定元素的详细信息，例如每个节点中的类分布。
图 17. 使用默认超参数训练的决策树。
Colab 显示根条件包含 243 个示例。不过，您可能还记得训练数据集包含 272 个示例。系统已自动保留其余 29 个示例，以供验证和树形修剪。
第一个条件用于测试 bill_depth_mm 的值。表 4 和表 5 显示了不同物种的可能性，具体取决于第一个条件的结果。
表 4. 如果 bill_depth_mm ≥
42.3，不同物种的可能性
| 物种 | 可能性 |
|---|---|
| Adelie（红色） | 8% |
| Gentoo（蓝色） | 58% |
| 下巴带（绿色） | 36% |
表 5. 如果 bill_depth_mm < 42.3，不同物种的可能性
| 物种 | 可能性 |
|---|---|
| Adelie（红色） | 97% |
| Gentoo（蓝色） | 2% |
| 下巴带（绿色） | 0% |
bill_depth_mm 是数值特征。因此，使用针对具有数值特征的二元分类的精确分割算法找到了值 42.3。
如果 bill_depth_mm ≥ 42.3 为 True，则进一步测试 flipper_length_mm ≥ 207.5 能否几乎完美地将 Gentoos 与 Gentoos+Adelie 分开。
以下代码提供了模型的训练和测试准确率：
train_evaluation = model.evaluate(train_dataset)
print("train accuracy:", train_evaluation.accuracy)
# >> train accuracy: 0.9338
test_evaluation = model.evaluate(test_dataset)
print("test accuracy:", test_evaluation.accuracy)
# >> test accuracy: 0.9167
测试准确率高于训练准确率的情况很少见，但也有可能。在这种情况下，测试集可能与训练集不同。不过，这里的情况并非如此，因为训练集和测试集是随机拆分的。更可能的解释是，测试数据集非常小（只有 72 个示例），因此准确度估算结果存在噪声。
在实践中，对于如此小的数据集，最好使用交叉验证，因为它可以计算更准确的评估指标值。不过，在此示例中，我们将继续进行训练和测试，以便简化操作。
改进模型超参数
该模型是使用默认超参数值训练的单个决策树。为了获得更准确的预测结果，您可以：
由于我们尚未介绍过随机森林和梯度提升树算法，并且示例数量过少，无法进行自动超参数调整，因此您将手动改进模型。
上面显示的决策树很小，包含 61 个示例的叶子包含混合使用 Adelie 和 Chinstrap 标签的示例。为什么算法没有进一步划分此叶？造成这种情况的原因可能有两种：
- 可能已达到每个叶子的最小样本数（默认为
min_examples=5）。 - 为了防止过度拟合，系统可能会对树进行分割和修剪。
将最小示例数减少为 1，然后查看结果：
model = ydf.CartLearner(label=label, min_examples=1).train(train_dataset)
model.plot_tree()
图 18. 使用 min_examples=1 训练的决策树。
包含 61 个示例的叶节点已多次进一步划分。
为了了解是否有必要进一步划分节点，我们在测试数据集上评估了这个新模型的质量：
print(model.evaluate(test_dataset).accuracy)
# >> 0.97222
模型质量有所提高，测试准确率从 0.9167 提高到了 0.97222。更改超参数是一个好主意。
决策森林的前置
通过不断改进超参数，我们有望达到完美的准确性。不过，我们可以训练更强大的模型（例如随机森林），而不是采用这种手动流程，看看效果是否更好。
model = ydf.RandomForestLearner(label=label).train(train_dataset)
print("Test accuracy: ", model.evaluate(test_dataset).accuracy)
# >> Test accuracy: 0.986111
随机森林的准确性高于简单树。您将在接下来的页面中了解原因。
使用和限制
如前所述，单个决策树的质量通常不如随机森林、梯度提升树和神经网络等现代机器学习方法。不过，决策树在以下情况下仍然很有用：
- 作为一种简单且低成本的基准，用于评估更复杂的方法。
- 当模型质量与可解释性之间存在权衡时。
- 作为决策森林模型解释的替代方案，本课程稍后会对此进行探讨。