第 5 步:调整超参数

我们必须选择一些超参数来定义和训练模型。我们依靠直觉、示例和最佳实践建议。但是,我们首选的超参数值可能无法产生最佳结果。这只是一个很好的训练起点。每个问题都不相同,并且调整这些超参数将有助于优化模型,以便更好地表示当前问题的性质。让我们来看看使用的一些超参数以及调整它们的含义:

  • 模型的层数:神经网络中的层数是其复杂性的一个指标。选择该值时必须小心谨慎。层数过多会使模型学习有关训练数据的过多信息,从而导致过拟合。层过少会限制模型的学习能力,导致出现欠拟合。对于文本分类数据集,我们尝试使用一层、两层和三层 MLP。具有两个层的模型表现良好,在某些情况下效果优于三层模型。同样,我们还尝试了包含 4 层和 6 层的 sepCNN,并且四层模型的性能良好。

  • 每层的单元数:层中的单元必须包含层执行的转换的信息。对于第一层,这取决于特征的数量。在后续层中,单元数取决于在上一个层中扩展或收缩表示法。尽量减少图层之间的信息损失。我们尝试了 [8, 16, 32, 64] 范围内的单位值,32/64 个单位的效果最佳。

  • 丢弃率:在模型中,丢弃层用于正则化。它们定义了要下降的输入比例,以防出现过拟合。建议范围:0.2–0.5。

  • 学习速率:这是神经网络权重在各迭代期间发生更改的速率。较大的学习速率可能会导致权重出现大幅波动,我们可能永远无法找出它们的最佳值。低学习速率是好现象,但模型需要更多迭代才能收敛。建议从最低点开始,例如 1e-4。如果训练速度很慢,请提高此值。如果您的模型没有学习,请尝试降低学习速率。

此外,我们还优化了几个针对我们的 sepCNN 模型的额外超参数:

  1. 内核大小:卷积窗口的大小。建议值:3 或 5。

  2. 嵌入维度:我们用于表示字词嵌入的维度数量,即每个字词向量的大小。建议的值:50–300。 在我们的实验中,我们使用包含 200 个维度的 GloVe 嵌入和一个预训练嵌入层。

使用这些超参数看看哪些参数效果最好。为您的使用场景选择性能最佳的超参数后,模型就可以部署了。