一旦造成偏见, 识别训练数据中发现的噪声,因此可以采取积极措施, 以减轻其影响机器学习 (ML) 可采用两种主要策略 工程师通常采用以下方法来消除偏见:
- 增强训练数据。
- 调整模型的损失函数。
增强训练数据
如果对训练数据的审核发现了缺失、不正确或 或数据偏差,解决问题的最直接的方法通常是 以收集其他数据。
然而,虽然扩充训练数据可能是一种理想的方案,但这种方法的缺点是 这种方法同样不可行,要么是缺乏 阻碍数据收集的可用数据或资源限制。例如: 收集更多数据可能过于昂贵或耗时,或者由于 法律/隐私权限制。
调整模型的优化函数
如果无法收集额外的训练数据, 减少偏差的方法是调整损失的计算方式, 训练。我们通常会使用如下所示的优化函数: 对数损失,用于惩罚不正确的模型 预测。但是,对数损失不会将子组成员资格纳入计算 考虑度。因此,我们可以选择优化,而不是使用对数损失。 一个函数,旨在以公平性意识的方式惩罚错误, 抵消了在训练数据中发现的不平衡问题。
TensorFlow Model Remediation 库提供了可用于应用两种策略的实用程序, 不同的偏差缓解技术:
MinDiff: MinDiff 旨在平衡两个不同数据切片的错误 (男/女生与非二元学生)相比, 两组预测分布之间的差异。
Counterfactual Logit Pairing: Counterfactual Logit Pairing (CLP) 旨在确保改变敏感的 不会改变模型对此问题的预测, 示例。例如,如果训练数据集包含两个样本, 特征值完全相同,但其中一个特征值的
gender
值为male
, 另一项的gender
值为nonbinary
,如果 这两个样本的预测是不同的。
您选择的调整优化函数的方法有 具体取决于模型的使用场景。在下一部分,我们将介绍 仔细研究如何完成模型公平性评估任务 来考虑这些使用情形。