机器学习术语表:公平性

本页面包含公平性术语表术语。如需查看所有术语表术语,请点击此处

A

特性

#fairness

feature 的同义词。

在机器学习公平性中,属性通常是指与个人相关的特征。

自动化偏差

#fairness

是指,即使自动化决策系统出错,人类决策者也青睐自动化决策系统给出的建议,而不是非自动化给出的建议。

B

偏见(道德/公平性)

#fairness
#fundamentals

1. 对某些事物、个人或群体的成见、偏见或偏爱。这些偏差可能会影响数据的收集和解读、系统设计以及用户与系统交互的方式。此类偏差的形式包括:

2. 抽样或报告过程中引入的系统错误。 此类偏差的形式包括:

请勿与机器学习模型中的偏差项预测偏差混淆。

C

确认偏差

#fairness

倾向于搜索、解读、支持和召回信息,以确认一个人的已有信仰或假设。机器学习开发者可能会无意中以影响支持其现有观念的结果的方式收集或标记数据。确认偏差是一种隐性偏差

实验者偏差是一种确认偏差,在这种偏差下,实验者会继续训练模型,直到现有假设得到证实。

反事实公平

#fairness

一个公平性指标,用于检查分类器针对一个人生成的结果是否与与第一个人完全相同的另一个人生成的结果相同,但一个或多个敏感属性除外。评估分类器的反事实公平性是发现模型中潜在偏差来源的一种方法。

如需详细了解反事实公平性,请参阅《当世界相互碰撞:在公平性中集成不同的反事实假设》

覆盖偏差

#fairness

请参阅选择偏差

D

受众特征平等

#fairness

一个公平性指标,如果模型分类的结果不依赖于给定的敏感属性,则满足此条件。

例如,如果小人国立大学人和 Brobdingnagians 都申请了格鲁布杜布德里布大学,则只要接纳的小人国立大学学生百分比与录用布丁纳吉斯人所占的百分比相同,则无论一个群组是否平均优于另一个群组,即可实现受众特征对等。

均等几率机会相等相反,后者允许分类结果总体依赖于敏感属性,但不允许对某些指定的标准答案标签的分类结果依赖于敏感属性。请参阅“利用更智能的机器学习技术解决歧视”,以可视化方式探索在针对人口统计特征进行优化时权衡的利弊。

各种影响

#fairness

决定不成比例地影响不同人口子群体的人群。这通常是指算法决策流程对某些子群体的危害或好处大于其他子群体的情况。

例如,假设某个算法在确定小人国居民是否有资格获得小型住宅贷款时,如果其邮寄地址包含特定邮政编码,则更有可能将其归类为“不符合条件”。如果大端小端小人国居民比起小端小端小人国居民,更有可能拥有采用此邮政编码的邮寄地址,那么此算法可能会导致截然不同的影响。

区分处理不同,后者侧重于在子群组特征是算法决策过程的显式输入时产生的差异。

区别对待

#fairness

在算法决策过程中将正文的敏感属性考虑在内,以便以不同的方式对待不同的子群体。

例如,假设有一种算法,该算法根据小人国居民在贷款申请中提供的数据确定他们是否有资格获得小型住宅贷款。如果该算法将利利普顿的隶属关系用作大端字节或小端字节序作为输入,则会沿该维度采取不同的处理方式。

“不同影响”相对,后者侧重于算法决策对子群体的社会影响方面的差异,无论这些子群体是否是模型的输入。

E

机会均等

#fairness

一个公平性指标,用于评估模型对于敏感属性的所有值是否同样有效地预测了预期结果。换言之,如果模型的预期结果是正类别,那么目标就是使所有组的真正例率都相同。

机会均等与均等几率有关,这要求所有组的真正例率和假正例率都相同

假设格鲁布杜布德里布大学允许小人和布丁纳吉斯人学习严格的数学课程。小岛的中学提供良好的数学课程,让大多数学生都有资格入读大学课程。Brobdingnagians 的中学根本不提供数学课程,因此符合资格的学生要少得多。如果符合条件的学生无论是小人国还是布丁纳吉亚人,被录取的可能性均等,则对于国籍(利利普特人或 Brobdingnagian)的首选标签而言,就表示机会平等。

例如,假设 100 名小人国学生和 100 名布丁纳吉人向格卢布杜布德里布大学申请录取,其录取决定如下:

表 1. 利利普托语申请者(90% 为合格)

  符合资格 不合格
允许 45 3
已遭拒 45 7
总计 90 10
被录取的符合条件的学生所占百分比:45/90 = 50%
不符合条件的学生所占的百分比:7/10 = 70%
被录取的利利普斯语学生所占百分比:(45+3)/100 = 48%

 

表 2. Brobdingnagian 申请者(10% 符合条件):

  符合资格 不合格
允许 5 9
已遭拒 5 81
总计 10 90
被录取的符合条件的学生所占百分比:5/10 = 50%
不符合条件的学生所占的百分比:81/90 = 90%
布丁纳吉亚语录取学生所占的百分比:(5+9)/100 = 14%

上述示例满足了录取合格学生的平等机会,因为符合条件的小人国立大学和 Brobdingnagians 都录取 50% 的几率。

虽然机会平等得到满足,但以下两个公平性指标并不满足:

  • 受众特征平等:这所大学的入学率各不相同,有 48% 的小人国学生和布丁纳吉斯人是入学的,但只有 14% 的布丁纳吉斯人是入学的。
  • 均等的几率:虽然符合条件的小人国学生和 Brobdingnagian 学生被录取的概率相同,但不符合条件的小人国立大学人和 Brobdingnagiian 人也具有相同的被拒概率这一额外限制并不能满足此条件。不符合条件的小人国居民的拒绝率为 70%,而不符合条件的 Brobdingnagians 的拒绝率为 90%。

如需详细了解机会平等的讨论,请参阅监督式学习中的机会平等。另请参阅“利用更智能的机器学习处理歧视”,以可视化方式探索在优化机会均等方面的权衡。

均分几率

#fairness

一个公平性指标,用于评估模型对敏感属性的所有值(正类别负类别,而不仅仅是一个类别或另一个类别)是否同样能够预测出结果。换句话说,所有群组的真正例率假负例率应该相同。

均等几率与机会均等相关,后者仅关注单个类别(正类别或负类别)的错误率。

例如,假设格鲁布杜布德里布大学允许小人国立大学和布丁纳吉斯人学习严格的数学课程。小岛的中学提供丰富的数学课程,而绝大多数学生都有资格进入大学课程。Brobdingnagians 的中学根本不提供数学课程,因此符合资格条件的学生要少得多。无论申请者是小人国民主还是 Brobdingnagian,只要申请者符合条件,获批的概率都是一样的;如果不合格,被拒的可能性也一样大。

假设 100 名小人国居民和 100 名 Brobdingnagians 向格卢布杜布德里布大学申请,录取决定如下:

表 3. 利利普托语申请者(90% 为合格)

  符合资格 不合格
允许 45 2
已遭拒 45 8
总计 90 10
被录取的符合条件的学生所占百分比:45/90 = 50%
不符合条件的学生所占百分比:8/10 = 80%
被录取的利利普斯语学生所占百分比:(45+2)/100 = 47%

 

表 4. Brobdingnagian 申请者(10% 符合条件):

  符合资格 不合格
允许 5 18
已遭拒 5 72
总计 10 90
被录取的符合条件的学生所占百分比:5/10 = 50%
不符合条件的学生所占的百分比:72/90 = 80%
布丁纳吉亚语录取学生所占的百分比:(5+18)/100 = 23%

均等的几率会得到满足,因为符合条件的小人国学生和布丁纳吉安人均有 50% 被录取的几率,而不符合条件的小人国学生和 Brobdingnagian 学生被拒绝的可能性为 80%。

监督式学习中的机会平等中正式定义均等几率如下:“预测器 Ø 满足与受保护属性 A 相关的均等几率,如果 event 和 A 是独立的,则对 Y 有条件。”

实验者偏差

#fairness

请参阅确认偏差

F

公平性约束

#fairness
对算法应用限制条件,以确保满足一个或多个公平性定义。公平性限制的示例包括:

公平性指标

#fairness

可衡量的“公平性”的数学定义。 一些常用的公平性指标包括:

许多公平性指标都是互斥的;请参阅公平性指标的不兼容

G

群体归因偏差

#fairness

假设某个人的真实情况适用于该群体中的每个人。如果使用便利抽样收集数据,群体归因偏差的影响会加剧。在非代表性样本中,归因可能不会反映现实。

另请参阅群外同质性偏差群内偏差

H

历史偏差

#fairness

一种偏差,已经存在于现实世界中,但已融入到数据集中。这些偏见往往反映了现有的文化成见、受众特征不平等以及对某些社会群体的偏见。

例如,假设有一个用于预测贷款申请人是否会违约贷款的分类模型,该模型基于 20 世纪 80 年代来自两个不同社区的地方银行的历史贷款违约数据进行了训练。如果来自社区 A 的过往申请者违约贷款的可能性是社区 B 的申请者的 6 倍,模型可能会学习历史偏差,导致模型在社区 A 中批准贷款的可能性降低,即使导致社区提高违约率的历史条件不再适用。

I

隐性偏差

#fairness

根据人的思维模型和记忆自动建立联想或假设。隐性偏差会影响以下方面:

  • 数据的收集和分类方式。
  • 如何设计和开发机器学习系统。

例如,构建用于识别婚礼照片的分类器时,工程师可以将照片中显示白色裙子作为特征。不过,白色裙子只在某些时代和某些文化中是一种惯例。

另请参阅确认偏差

公平性指标的不兼容

#fairness

某些公平性的概念是互不相容的,无法同时满足。因此,没有一个通用的指标可以用来量化所有机器学习问题。

虽然这可能看起来令人沮丧,但公平性指标不兼容并不意味着公平性工作毫无结果。相反,它建议必须根据上下文为给定的机器学习问题定义公平性,目标是防止特定于其用例的伤害。

如需详细了解此主题,请参阅“On the (im)可能性”

个人公平

#fairness

一个公平性指标,用于检查相似的个体是否以类似的方式分类。例如,Brobdingnagian Academy 可能希望确保成绩和标准化考试成绩完全相同的两名学生入学,从而满足个体公平性要求。

请注意,个体公平完全取决于您定义“相似度”(本例中为成绩和测试分数)的方式,如果您的相似性指标遗漏重要信息(例如学生课程的严谨性),则有可能引入新的公平性问题。

如需详细了解个体公平性,请参阅通过认知实现公平性

群内偏差

#fairness

对自己所属的群组或特征表现出偏向。 如果测试人员或评分者由机器学习开发者的好友、家人或同事组成,那么群内偏差可能会导致产品测试或数据集失效。

群内偏差是一种群体归因偏差另请参阅群外同质性偏差

未回答偏差

#fairness

请参阅选择偏差

O

群外同质性偏差

#fairness

在比较态度、价值观、性格特征和其他特征时,倾向于认为群外成员比群内成员更加相似。群内是指您经常互动的人; 群外是指您不经常互动的人。如果您通过要求用户提供有关群外成员的属性来创建数据集,则与参与者为群内成员列出的属性相比,这些属性可能更不那么精细且更具刻板化。

例如,小人国人可能会详细描述其他小人国人的房屋,指出建筑风格、窗户、门和大小方面的细微差异。然而,同样的小人国居民可能只是声称布丁纳吉人住在同一套房子里。

群外同质性偏差是一种群体归因偏差

另请参阅群内偏差

P

参与偏差

#fairness

与未回答偏差的含义相同。请参阅选择偏差

后期处理

#fairness
#fundamentals

在运行模型后调整模型的输出。 后处理可用于强制执行公平性约束,而无需修改模型本身。

例如,您可以对二元分类器应用后处理,方法是设置分类阈值,以便通过检查某个属性的所有值的真正例率是否相同,保持某个属性的机会相等

预测性对等

#fairness

一个公平性指标,用于检查对于给定的分类器,精确率率是否与考虑选用的子群组相等。

例如,如果一个预测大学接受度的模型在小人国和布丁纳吉人中时的精确率相同,则该模型将满足国籍的预测对等性。

预测性平价有时也称为预测性平价

如需详细了解预测性对等性,请参阅“公平性定义说明”(第 3.2.1 节)。

预测性费率对等

#fairness

预测性对等性的别称。

预处理

#fairness
在数据用于训练模型之前处理数据。预处理操作非常简单,例如从英语文本语料库中移除英语字典中未出现的单词,或者像重新表示数据点一样复杂,以尽可能消除与敏感属性相关的更多属性。预处理有助于满足公平性限制

代理(敏感属性)

#fairness
用作敏感属性的替代项的属性。例如,个人的邮政编码可能用作其收入、种族或民族的替代品。

R

报告偏差

#fairness

人们撰写动作、结果或属性的频率并不能反映这些行为、结果或属性的实际频率,或者某个属性是某一类个体的特征的程度。报告偏差可能会影响机器学习系统从中学习规律的数据的构成。

例如,在书中,“laughed”比“breathed”更普遍。如果某个机器学习模型根据书本语料库估计大笑和呼吸的相对频率,就很可能会确定笑比呼吸更常见。

采样偏差

#fairness

请参阅选择偏差

选择偏差

#fairness

从抽样数据中得出的结论错误是由于一个选择过程,该过程会在数据中观察到的样本与未观察到的样本之间产生系统差异。存在以下形式的选择偏差:

  • 覆盖偏差:数据集内表示的群体与机器学习模型进行预测的群体不匹配。
  • 抽样偏差:数据不是从目标群体中随机收集的。
  • 未回答偏差(也称为参与偏差):某些群体中的用户以不同于其他群体的用户的比率选择不参加问卷调查。

例如,假设您正在创建一个机器学习模型来预测人们对电影的喜爱程度。为了收集训练数据,您向放映该电影的电影院前排的每个人发放一份调查问卷。不言自明,这听起来似乎是收集数据集的合理方法;但是,这种形式的数据收集可能会引入以下形式的选择偏差:

  • 覆盖偏差:通过从选择观看电影的人群中采样,您的模型的预测可能不会泛化到尚未对电影表现出这种兴趣水平的人。
  • 采样偏差:您只对前排的观众进行采样,而不是从预期人群(电影上演的所有人)中随机采样。坐在第一排的观众可能比其他排的观众对电影更感兴趣。
  • 未回答偏差:通常,相较于持有温和意见的人,具有强烈观点的人倾向于更频繁地回答可选调查问卷。由于电影调查问卷是可选的,因此回复更有可能形成双模态分布,而不是正态(钟形)分布。

敏感属性

#fairness
一种人性属性,可能会基于法律、道德、社会或个人原因予以特别考虑。

U

不了解(对敏感特性)

#fairness

存在敏感属性存在,但训练数据中不包含的情况。由于敏感属性通常与数据的其他属性相关联,因此在不知道敏感属性的情况下训练的模型可能仍会对该属性产生截然不同的影响,或违反其他公平性限制