公平性:反事实公平性

到目前为止,我们对公平性指标的讨论假设我们的训练 和测试示例包含有关相应受众特征的全面受众特征数据 所评估的子群组。但通常并非如此。

假设我们的招生数据集不包含完整的受众特征数据。 而是仅记录一小部分受众 样本,例如选择自行标识自己属于哪个群体的学生 所属的项目。在本例中,我们将候选人群细分为已接受的候选人 和被拒绝的学生现在如下所示:

将 100 名学生分为两组:
      被拒绝的候选方案(80 个学生图标)和已接受的候选方案(20 个)
      学生图标)。所有图标均为灰色阴影(表示
      受众特征群体未知),但 6 个图标除外。在已拒绝的
      小组,两个学生图标为蓝色阴影,两个学生图标为阴影
      橙色。在“已接受”群组中,一个学生图标为蓝色阴影,另一个学生图标为蓝色
      橙色阴影。
图 5. 具有受众特征群体成员资格的候选人池 几乎所有候选字词均未知(以灰色阴影表示的图标)。

在这里评估任一受众特征的模型预测都是不可行的 因为我们没有受众特征数据, 94% 的样本。然而,对于包含 6% 的 我们仍然可以比较各个预测项的成对, (多数候选人还是少数群体候选人),看看他们是否 公平对待。

例如,假设我们已全面审核了特征数据, 有两个候选人(一个在多数党候选人中,一个在少数党候选人) 已在下图中标注了星标),并且已经确定, 完全有资格入围。如果模型 针对这两个候选字词的相同预测(即 或同时接受两个候选人),即被认为符合反事实 公平性。反事实公平性规定 除了指定的敏感属性以外,在各方面都相同 (此处为受众特征群体成员资格),应得到相同的模型 预测。

候选池与上图相同,但
      一个蓝色的学生图标(属于多数群组)和
      在“已拒绝”部分中有一个橙色的学生图标(属于少数群体)
      都带有星标,表示这两个候选字词
      完全相同(受众特征群体除外)。
图 6. 两个完全相同的场景满足反事实性公平性原则, 带有 星星,因为模型会针对两者做出相同的决定(拒绝)。

优点和缺点

如前所述,反事实性公平性的一个主要好处是, 在许多情况下,该模型可用于评估预测的公平性, 那么其他指标就不可行了。如果数据集不包含完整的 相关组属性的特征值,则不能 可以使用人口统计学平等性或 优化建议。但是,如果这些组属性适用于 并可以找出对等的等效项对, 样本,从业者可以使用反事实公平性 作为一项指标来探测模型是否存在预测中可能存在的偏差。

此外,由于受众特征对等和 对各个群体进行业务机会评估时,他们可能会掩盖影响 单个预测的级别, 使用反事实公平性进行评估。例如,假设我们的 模型接受来自多数群体和少数群体的合格候选人 但最合格的少数民族候选人才是 而最合格的多数候选人具有与 凭据。反事实公平性分析可以帮助你 以便消除这些差异

另一方面,反事实性公平的关键缺点是它 以便从整体上了解模型预测中的偏差。识别和 修正一些成对的不等式可能不够 来解决影响整个样本子群组的系统性偏见问题。

如果可以的话,从业者可以考虑同时进行汇总 公平性分析(使用人口统计学平等性或 以及反事实公平性分析,以获得最广泛的 从而了解需要补救的潜在偏见问题。

练习:检查您的理解情况

锻炼图。两组圈子:排除
             预测和积极预测。
             负例预测包含 50 个圆圈:
             39 个灰色圆圈、8 个蓝色圆圈和 3 个橙色圆圈。一个
             蓝色圆圈标为“A”,另一个橙色圆圈标为“A”
             有一个蓝色圆圈标着“C” 
             正向预测由 15 个圆圈组成:
             10 个灰色圆圈、3 个蓝色圆圈和 2 个
             橙色圆圈。一个蓝色圆圈标为“B”,另一个标为橙色
             圆圈标为“B”,其中一个蓝色圆圈标为“C”。
             图表下方的图例说明蓝色圆圈代表
             是多数组中一个样本,橙色圆圈表示
             其中灰色圆圈表示
             群组成员资格未知的示例 <ph type="x-smartling-placeholder">
</ph> 图 7.对一批样本进行负例和正例预测, 其中包含三对样本,分别标记为 A、B 和 C。

在上面图 7 中的一组预测中, 以下几对完全相同的内容(不包括组成员) 样本收到的预测违反了反事实公平性?

配对 A
配对 A 的预测满足反事实公平性要求,因为两者 多数群体中的样本(蓝色)和 少数群体(橙色)也获得了相同的预测结果(负例)。
配对 B
配对 B 的预测满足反事实公平性,因为两者 多数群体中的样本(蓝色)和 少数群体(橙色)得到的预测相同(正例)。
配对 C
C 对的预测针对的两个样本均属于 多数组(蓝色)。事实上,模型生成的不同, 这些相同样本的预测表明, 模型存在更广泛的性能问题, 。不过,此结果并不违反反事实 公平性,其条件仅适用于 完全相同的样本 都是从不同的组中抽取的。
这些对均未违反反事实公平性
对 A 和 B 的预测满足反事实公平性要求 因为在这两种情况下,多数组中的示例和 都会获得相同的预测结果。配对 C 样本都属于同一组(多数组),因此 在这种情况下,反事实公平性并不适用。

摘要

受众特征对等 机会平等 和反事实公平性都提供了不同的数学定义 模型预测的公平性。以上就是 量化公平的方法某些公平的定义 不兼容, 这意味着系统可能无法同时满足 预测。

那么,如何选择“合适的”公平性指标?您需要 您需要考虑使用该工具的背景以及您设定的首要目标, 希望达成的目标例如,我们的目标是实现公平的代表性 (在此例中,受众特征对等可能是最佳指标)还是 机会平等(在这里,机会平等可能是 指标)?

如需详细了解机器学习公平性并深入探索这些问题,请参阅 Fairness and Machine Learning: Limitations and Opportunity(《公平性与机器学习:限制与机会》),作者:Solon Barocas、Moriz Hardt 和 Arvind Narayanan。