公平性:减少偏见

一旦造成偏见, 识别训练数据中发现的噪声,因此可以采取积极措施, 以减轻其影响机器学习 (ML) 可采用两种主要策略 工程师通常采用以下方法来消除偏见:

  • 增强训练数据。
  • 调整模型的损失函数。

增强训练数据

如果对训练数据的审核发现了缺失、不正确或 或数据偏差,解决问题的最直接的方法通常是 以收集其他数据。

然而,虽然扩充训练数据可能是一种理想的方案,但这种方法的缺点是 这种方法同样不可行,要么是缺乏 阻碍数据收集的可用数据或资源限制。例如: 收集更多数据可能过于昂贵或耗时,或者由于 法律/隐私权限制。

调整模型的优化函数

如果无法收集额外的训练数据, 减少偏差的方法是调整损失的计算方式, 训练。我们通常会使用如下所示的优化函数: 对数损失,用于惩罚不正确的模型 预测。但是,对数损失不会将子组成员资格纳入计算 考虑度。因此,我们可以选择优化,而不是使用对数损失。 一个函数,旨在以公平性意识的方式惩罚错误, 抵消了在训练数据中发现的不平衡问题。

TensorFlow Model Remediation 库提供了可用于应用两种策略的实用程序, 不同的偏差缓解技术:

  • MinDiff: MinDiff 旨在平衡两个不同数据切片的错误 (男/女生与非二元学生)相比, 两组预测分布之间的差异。

  • Counterfactual Logit Pairing: Counterfactual Logit Pairing (CLP) 旨在确保改变敏感的 不会改变模型对此问题的预测, 示例。例如,如果训练数据集包含两个样本, 特征值完全相同,但其中一个特征值的 gender 值为 male, 另一项的 gender 值为 nonbinary,如果 这两个样本的预测是不同的。

您选择的调整优化函数的方法有 具体取决于模型的使用场景。在下一部分,我们将介绍 仔细研究如何完成模型公平性评估任务 来考虑这些使用情形。

练习:检查您的理解情况

以下关于减少偏见技术的说法中,哪些是正确的?
MinDiff 和 CLP 都会减少模型性能中的差异 与敏感属性相关联
这两种技术都旨在通过对预测结果进行惩罚来减少偏见 由敏感属性的敏感程度不平衡而导致的错误 训练数据中的表示形式。
MinDiff 会对数据的整体分布差异进行惩罚, 对不同数据切片进行预测,而 CLP 用于降低 每对样本的预测差异。
MinDiff 通过校准两个得分的分布来解决偏差 子群组中。CLP 通过确保单个样本 不会仅仅因为他们的子群组成员资格而受到区别对待。
向训练数据集添加更多样本始终会有帮助 以抵消模型预测结果中的偏差。
添加更多训练样本是 可以减少偏见,但新训练数据的组成 至关重要。如果其他训练样本表现出 原始数据失衡,那么这些变化可能并不能帮助缓解 现有的偏见。
如果您通过添加更多训练数据来减少偏见, 不应在训练期间应用 MinDiff 或 CLP。
增强训练数据和应用 MinDiff 或 CLP 等技术 可以互补。例如,机器学习工程师或许可以 以便收集足够的额外训练数据来减少差异 将性能提升 30%,然后使用 MinDiff 进一步 差异再增加 50%。