评估模型时,根据整个测试或验证数据计算的指标 并不能准确反映模型的公平性。 在大多数样本中,模型整体性能优异可能会掩盖糟糕的模型 这可能导致出现偏差 模型预测。使用汇总效果指标,例如 精确率、 召回率、 和准确率不一定持续 来揭示这些问题
我们可以回顾一下我们的招生模式,并探索一些新方法 如何在兼顾公平性的前提下评估预测是否存在偏差。
假设招生分类模型选择 20 名学生进入 从 100 名学生中挑选出一所大学,分为两个人口统计群体: 多数群体(蓝色,80 位学生)和少数群体 (橙色,20 位学生)。
![由 100 人图标组成的网格。80 个图标显示为蓝色阴影,
多数人组。20 个图标为橙色阴影,
代表着少数族裔群体](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_candidate_pool.png?authuser=7&hl=uk)
该模型在接纳符合要求的学生时,必须以对 两个受众特征群体中的候选人。
我们应如何评估模型预测的公平性?有很多种 每个指标都提供了不同的数学概念 “公平性”的定义在后续部分中,我们将探讨 这些深入的公平性指标:人口统计一致性、机会平等, 和反事实公平性原则。