机器学习速成课程的全新改进版本将于 2024 年 8 月推出。敬请期待!
前面我们讨论了二元分类模型,该模型可从两个可能的选项中选择其一,例如:
- 特定电子邮件是垃圾邮件或非垃圾邮件。
- 特定肿瘤是恶性肿瘤还是良性肿瘤。
在本单元中,我们将研究多类别分类,这种模型可从多种可能的情况中进行选择。例如:
- 这只狗是小猎犬、巴吉度猎犬还是寻血猎犬?
- 这朵花是西伯利亚鸢尾花、荷兰鸢尾花、蓝旗鸢尾花还是矮胡子鸢尾花?
- 这架飞机是波音 747、空客 320、波音 777 还是 Embraer 190?
- 这是一张苹果、熊、糖果、狗还是鸡的图片?
现实世界中的多类别问题需要从数百万个类别中进行选择。例如,假设有一个多类分类模型,它几乎能识别任何图像的图片。
多类别神经网络
超过两门课程?
- 逻辑回归为二元类别问题提供了有用的概率。
- 多类别问题呢?
- 苹果、香蕉、汽车、心脏科医生......、步行标志、斑马、动物园
- 红色、橙色、黄色、绿色、蓝色、靛青色、紫色
- 动物、蔬菜、矿物质
一对多
- 为每个可能的类别创建唯一输出
- 根据“我的类别”与“所有其他类别”的信号进行训练
- 可以在深度网络中执行,也可以使用单独的模型执行
SoftMax 多类
- 添加额外的约束条件:要求将所有“一对多”节点的输出相加到 1.0
- 额外的约束条件有助于训练快速收敛
- 此外,允许将输出解释为概率
适用情形
- 多类别单标签分类:
- 例如,只能是某个类的成员。
- 类互斥的约束是一种有用的结构。
- 有助于在损失中对此进行编码。
- 为所有可能的类别使用一个 softmax 损失。
- 多类别、多标签分类:
- 一个示例可能是多个类的成员。
- 对于要利用的类成员资格没有额外限制。
- 每个可能的类别对应一个逻辑回归损失。
SoftMax 选项
- 完整 SoftMax
- 候选人抽样
- 针对所有正类别标签进行计算,但仅针对随机的负类别样本进行计算。