特征组合

特征组合是指将两个或多个特征相乘形成的合成特征。特征组合可能会提供超出这些特征单独提供的预测能力。

特征组合

  • 特征组合是这种方法的名称
  • 定义 [A x B] 形式的模板
  • 可以是复杂的:[A x B x C x D x E]
  • AB 表示布尔特征(例如分箱)时,所得到的交叉可能极其稀疏
  • 房价预测工具

    [latitude X num_bedrooms]

  • 房价预测工具

    [latitude X num_bedrooms]

  • 井字棋预测器

    [pos1 x pos2 x ... x pos9]

  • 线性学习器使用线性模型
  • 此类学习器可以很好地扩展到大量数据,例如Vowpal Wabbit,sofia-ml
  • 但是,如果没有特征组合,这些模型的表达能力将受到限制
  • 使用特征组合 + 海量数据是学习高度复杂模型的一种高效策略
    • 前景:神经网络提供了另一种