前面我们讨论了二元分类模型，该模型可从两个可能的选项中选择其一，例如：
- 特定电子邮件是垃圾邮件或非垃圾邮件。
- 特定肿瘤是恶性肿瘤还是良性肿瘤。
在本单元中，我们将研究多类别分类，这种模型可从多种可能的情况中进行选择。例如：
- 这只狗是小猎犬、巴吉度猎犬还是寻血猎犬？
- 这朵花是西伯利亚鸢尾花、荷兰鸢尾花、蓝旗鸢尾花还是矮胡子鸢尾花？
- 这架飞机是波音 747、空客 320、波音 777 还是 Embraer 190？
- 这是一张苹果、熊、糖果、狗还是鸡的图片？
现实世界中的多类别问题需要从数百万个类别中进行选择。例如，假设有一个多类分类模型，它几乎能识别任何图像的图片。
多类别神经网络
超过两门课程？
- 逻辑回归为二元类别问题提供了有用的概率。
- 垃圾内容 / 非垃圾内容
- 点击 / 不点击
- 多类别问题呢？
- 苹果、香蕉、汽车、心脏科医生......、步行标志、斑马、动物园
- 红色、橙色、黄色、绿色、蓝色、靛青色、紫色
- 动物、蔬菜、矿物质
一对多
- 为每个可能的类别创建唯一输出
- 根据“我的类别”与“所有其他类别”的信号进行训练
- 可以在深度网络中执行，也可以使用单独的模型执行
SoftMax 多类
- 添加额外的约束条件：要求将所有“一对多”节点的输出相加到 1.0
- 额外的约束条件有助于训练快速收敛
- 此外，允许将输出解释为概率
适用情形
- 多类别单标签分类：
- 例如，只能是某个类的成员。
- 类互斥的约束是一种有用的结构。
- 有助于在损失中对此进行编码。
- 为所有可能的类别使用一个 softmax 损失。
- 多类别、多标签分类：
- 一个示例可能是多个类的成员。
- 对于要利用的类成员资格没有额外限制。
- 每个可能的类别对应一个逻辑回归损失。
SoftMax 选项
- 完整 SoftMax
- 暴力破解；针对所有类别进行计算。
SoftMax 选项
- 完整 SoftMax
- 暴力破解；针对所有类别进行计算。
- 候选人抽样
- 针对所有正类别标签进行计算，但仅针对随机的负类别样本进行计算。