分类:准确率、召回率、精确率和相关指标

真、假正例和负例用于计算一些有用的 来评估模型。哪些评估指标最为重要 具体有意义取决于具体模型和具体任务、 以及数据集是平衡的,还是 不平衡。

此部分中的所有指标都是按单个固定阈值计算得出的, 并在阈值变化时更改。用户经常会调整 以优化其中某个指标。

准确率

准确率是 正确的分类(无论正面还是负面)。时间是 从数学上定义为:

\[\text{Accuracy} = \frac{\text{correct classifications}}{\text{total classifications}} = \frac{TP+TN}{TP+TN+FP+FN}\]

在垃圾邮件分类示例中,准确率衡量在垃圾邮件分类中 正确分类的电子邮件。

完美的模型应该没有假正例和假负例 因此准确率为 1.0 或 100%。

因为它综合了 混淆矩阵 (TP、FP、TN、FN), 因为两个类别的样本数量相似,所以准确率可以 作为模型质量的粗略衡量标准。因此, 用于通用模型或未指定模型的默认评估指标 执行通用任务或未指定任务。

但是,如果数据集不均衡, 或者,一种错误(FN 或 FP)比另一种造成的代价更高, 与在大多数实际应用中一样,最好针对 其他指标

对于高度不均衡的数据集,其中一个类别很少出现,例如 1% 一个预测模型在 100% 的时间内预测为负值的模型, 也没什么用处。

召回率或真正例率

真正例率 (TPR),即满足以下条件的所有实际正例所占的比例 被正确分类为正类别,也称为 召回率

召回率从数学上定义为:

\[\text{Recall (or TPR)} = \frac{\text{correctly classified actual positives}}{\text{all actual positives}} = \frac{TP}{TP+FN}\]

假负例是指被错误分类为负例的实际正例, 是它们出现在分母中的原因。在垃圾邮件分类示例中, 召回率衡量的是正确分类为垃圾邮件的电子邮件所占的比例 垃圾内容。因此,召回率的另一个名称是“检测概率”: 回答“此 模型?”

假设的完美模型没有假负例,因此 召回率 (TPR) 为 1.0,即 100% 的检测率。

在一个不均衡的数据集内,实际正类别的数量 例如,共计 1-2 个样本,则召回率会不太有意义,实用性也较低 作为指标

假正例率

假正例率 (FPR)错误分类的所有实际否定关键字所占的比例 也称为“误报概率”。时间是 从数学上定义为:

\[\text{FPR} = \frac{\text{incorrectly classified actual negatives}} {\text{all actual negatives}} = \frac{FP}{FP+TN}\]

假正例是指分类有误的实际负例,这就是 它们出现在分母中。在垃圾邮件分类示例中,FPR 将 被错误分类为垃圾邮件的合法电子邮件所占的比例,或者 模型的假警报率。

完美的模型应该没有假正例,因此 FPR 为 0.0, 也就是说,误报率为 0%。

在一个不均衡的数据集内,实际负例的数量 假设总共有 1-2 个样本,则 FPR 没什么意义,实用性也没那么高 作为指标

精确率

精确率 是模型的所有正分类所占的比例, 是正值。其在数学上定义为:

\[\text{Precision} = \frac{\text{correctly classified actual positives}} {\text{everything classified as positive}} = \frac{TP}{TP+FP}\]

在垃圾邮件分类示例中,精确率测量的是电子邮件的比例 被归类为垃圾内容,但实际上是垃圾内容。

假设的完美模型没有假正例,因此 精度为 1.0。

在一个不均衡的数据集内,实际正类别的数量 假设样本总数为 1-2 个,那么精确率没那么有意义,实用性也没那么高 作为指标

精确率会随着假正例的减少而提高,而召回率则会随着假正例的减少而提高 假负例降低。但如上一部分所示,增加 分类阈值往往会减少假正例的数量, 可增加假负例的数量,而降低阈值可 产生相反的效果。因此,精确率和召回率通常显示出 改善其中一个关系会让另一个恶化。

亲自尝试:

指标中的 NaN 是什么意思?

NaN,即“非数字”,在除以 0 时显示 与这些指标中的任何一个相关联例如,当 TP 和 FP 均为 0 时, 精确率公式的分母为 0,因此得出了 NaN。虽然 在某些情况下,NaN 可能表示完美的性能, 也来自实际模型。 毫无用处。例如,从未预测正例的模型将具有 0 TP 0 FPS,因此计算其精度时将产生 NaN。

指标选择和权衡

您在评估模型时选择优先考虑的指标和 阈值的选择依据是 AI 技术的成本、收益和风险, 具体问题。在垃圾邮件分类示例中, 优先考虑召回率、捕获所有垃圾邮件或精确率, 并尝试确保带有垃圾邮件标签的电子邮件确实是垃圾邮件, 两者之间的平衡,高于某个最低准确度水平。

指标 指南
准确率

用作模型的粗略指标 均衡数据集的训练进度/收敛情况。

对于模型性能,请仅与其他指标结合使用。

避免数据集不均衡。请考虑使用其他指标。

召回率
(真正例率)
适用于假负例较多的情况 开销要比假正例高。
假正例率 出现假正例的情况 比假负例的开销要大。
精确率 在对以下业务非常重要时使用 提高正向预测的准确性。

(可选,高级)F1 得分

F1 得分是调和平均值 (a 一种平均值)的精确率和召回率。

其数学公式由以下公式计算得出:

\[\text{F1}=2*\frac{\text{precision * recall}}{\text{precision + recall}} = \frac{2\text{TP}}{2\text{TP + FP + FN}}\]

该指标平衡了精确率和召回率的重要性, 准确率比准确率更高。如果精确率为 且召回率均为 1.0,F1 也有完美得分 为 1.0。从更广泛的意义上来说,当精确率和召回率值相近时,F1 将 接近其价值。如果精确率和召回率相差很大,F1 将 与哪个指标更差的指标相似。

练习:检查您的理解情况

一个模型输出 5 TP、6 TN、3 FP 和 2 FN。计算召回率。
0.714
召回率的计算公式为 [\frac{TP}{TP+FN}=\frac{5}{7}]。
0.455
召回率会考虑所有实际正例,并非全部正确 分类。召回率公式为 [\frac{TP}{TP+FN}]。
0.625
召回率会考虑所有实际正类别,而非全部正类别 分类。召回率公式为 [\frac{TP}{TP+FN}]
一个模型输出 3 TP、4 TN、2 FP 和 1 FN。计算精确率。
0.6
精确率的计算公式为 [\frac{TP}{TP+FP}=\frac{3}{5}]。
0.75
精确率会考虑所有正分类,而非全部 真正例。精度公式为 [\frac{TP}{TP+FP}]。
0.429
精确率会考虑所有正分类,而非全部 正确分类。精度公式为 [\frac{TP}{TP+FP}]
您正在构建一个二元分类器,用于检查捕虫器的照片 以确定是否存在危险的入侵物种如果模型检测到 就会通知值班的昆虫学家(昆虫科学家)。提前 对这种昆虫的检测对防止感染至关重要。答 误报(误报)易于处理:昆虫学家认为 该照片被错误分类并进行了标记。假设可接受的 模型应针对哪个指标进行优化?
召回率
在此场景中,假警报 (FP) 成本低, 负例的代价非常高,因此可以尽可能提高召回率,即提高概率 检测。
假正例率 (FPR)
在此场景中,假警报 (FP) 的成本很低。正在尝试 以尽量减少结果的偏差, 但这样做可能会导致错失实际正例 。
精确率
在这种情况下,假警报 (FP) 并不是 是有害的,因此尝试提高正分类的正确性 没有意义。