分类 (Classification):检查您的理解情况(准确率、精确率、召回率)

准确率

查看以下选项。

在以下哪种场景中,准确率高的值表示机器学习模型表现出色?
一种致命但可治愈的疾病会影响 0.01% 的人群。一个机器学习模型使用症状作为特征,预测这种痛苦的准确率为 99.99%。
这里的准确率并不佳。毕竟,即便是始终“生病”的“愚蠢”模型,准确率仍然高达 99.99%。对实际上患病的人来说,错误地预测“患病”可能是致命的。
一只昂贵的机器鸡每天穿过一条繁忙的道路一千次。机器学习模型评估流量模式,预测这只鸡何时可以安全过马路,准确率为 99.99%。
一条非常繁忙的道路的准确率为 99.99%,这表明机器学习模型比偶然性更好。不过,在某些设置中,即使出现少量错误,成本也仍然很高。99.99% 的准确率意味着昂贵的鸡平均每 10 天需要更换一次。(这只鸡也可能对它撞到的汽车造成严重损坏。)
在轮盘赌中,一只球会落在旋转轮上,并且最终落入 38 个槽之一上。通过视觉特征(球体的旋转、球子掉落时的滚轮位置、球在转轮的高度),机器学习模型可以预测球将落入的槽的准确度为 4%。
此机器学习模型做出的预测比随机结果好得多;随机猜测的正确率为 1/38,即准确率为 2.6%。虽然模型的准确率只有 4%,但成功的好处远远大于失败的弊端。

精确率

查看以下选项。

让我们以一种将电子邮件分为“垃圾邮件”或“非垃圾邮件”这两种类别的分类模型为例。如果提高分类阈值,精确率会怎样?
当然会提高。
提高分类阈值通常会提高精确率;但是,随着我们提高阈值,精确率不一定会单调提高。
可能会提高。
一般来说,提高分类阈值会减少假正例,从而提高精确率。
可能会减少。
一般来说,提高分类阈值会减少假正例,从而提高精确率。
当然会降低。
一般来说,提高分类阈值会减少假正例,从而提高精确率。

召回率

查看以下选项。

让我们以一种将电子邮件分为“垃圾邮件”或“非垃圾邮件”这两种类别的分类模型为例。如果提高分类阈值,召回率会怎样?
始终提高。
提高分类阈值会导致出现以下两种情况:
  • 真正例的数量会减少或保持不变。
  • 假负例数量会增加或保持不变。
因此,召回率绝不会增加。
始终降低或保持不变。
提高分类阈值会导致真正例的数量减少或保持不变,并且会导致假负例的数量增加或保持不变。因此,召回率会保持不变或有所降低。
始终保持不变。
提高分类阈值会导致真正例的数量减少或保持不变,并且会导致假负例的数量增加或保持不变。因此,召回率会保持不变或有所降低。

精确率和召回率

查看以下选项。

假设有两个模型(A 和 B),它们分别评估相同的数据集。下列哪项陈述是正确的?
如果模型 A 的准确率高于模型 B,模型 A 的准确率更高。
虽然更高的精确率是有益的,但代价是可能会大幅减少召回率。一般来说,我们需要同时查看精确率和召回率,或者需要汇总曲线下面积等指标(我们将在后面部分对此进行讨论)。
如果模型 A 的召回率高于模型 B,则模型 A 更好。
虽然更好的召回率是好事,但代价是可能会大幅降低精确率。一般来说,我们需要同时查看精确率和召回率,或者需要汇总曲线下面积等指标(我们将在后面部分进行讨论)。
如果模型 A 比模型 B 的精确率和召回率更高,那么模型 A 可能更好。
一般来说,如果一个模型在精确率和召回率方面都优于另一个模型,它可能是更好的模型。显然,我们需要确保在精确率 / 召回率点进行比较,这在实践中是有意义的。例如,假设我们的垃圾内容检测模型需要达到至少 90% 的精确率才能发挥作用,并避免不必要的误报。在这种情况下,将一个精确率为 20%、99% 召回率的模型与另一个准确率为 {15%、98% 召回率}的模型不是特别有指导意义,因为这两个模型都不符合 90% 的精确率要求。但考虑到这一点,在考虑精确率和召回率时,这是一种比较模型的好方法。