机器学习术语表:公平性

此页面包含公平性术语表。如需了解所有术语表术语,请点击此处

应用

特性

#fairness

功能的含义相同。

在机器学习公平性中,属性通常是指与个人相关的特征。

自动化偏差

#fairness

自动化决策系统更倾向于选择自动化决策系统提供的建议,而不是自动化机制提供的信息。

B

偏见(道德/公平)

#fairness
#fundamentals

1. 对某些事物、个人或群体具有刻板印象、偏见或偏爱。这些偏差会影响数据的收集和解读、系统设计以及用户与系统的互动方式。此类偏差形式包括:

2. 由抽样或报告程序引入的系统错误。 此类偏差形式包括:

不要与机器学习模型中的偏差项预测偏差混淆。

C

确认偏差

#fairness

一种以一种证实人们先前的信念或假设的方式搜索、解读、支持和回想信息的倾向。机器学习开发者可能会无意中以影响可影响其现有信念的结果的方式收集或标记数据。确认偏差是一种隐性偏差

实验者偏差是一种实验偏差,实验者会不断地训练模型,直到模型的假设得到证实。

反事实公平性

#fairness
公平性指标,用于检查某个分类器是否会为与同一个人相同的另一个人产生相同的结果,但对于一个或多个敏感属性除外。评估分类器对抗公平性的分类方法是在模型中呈现潜在偏差来源的方法。

如需详细了解反事实公平性,请参阅“当世界发生冲突:在公平性中集成不同的反事实假设”时

覆盖率偏差

#fairness

请参阅选择偏差

D

受众特征等同性

#fairness

如果模型的分类结果不依赖于给定的敏感特性,则满足该公平性指标

例如,如果 Lilliputians 和 Brobdingnagians 都适用于 Glubbdubdrib University,那么只要接受的 Lillbbdubribian 所占的百分比与被录入的犹太人人数所占百分比相同,就可获得受众特征差值,而不管某个群体平均是否更符合条件。

相等的几率机会的相等相反,这允许分类结果根据敏感属性进行汇总,但某些指定的标准答案标签的分类结果不能依赖于敏感属性。请参阅使用更智能的机器学习来消除歧视,了解在针对受众特征对等性进行优化时权衡取舍的可视化效果。

单独的影响

#fairness

对于那些会影响不同群体子群组的用户,做出不合理的决策。这通常是指算法决策过程对某些子组的危害或益处超过其他子组的情况。

例如,假设一款算法用于确定小人住宅贷款的微型住房贷款资格,它更有可能在邮寄地址包含特定邮政编码时将其归类为“不符合条件”。如果 Big-Endian Lilliputian 更倾向于使用邮政地址而非 Little-Endian Lilliputian 的邮寄地址,那么这种算法可能会导致出现完全不同的影响。

不同的处理方式,后者处理的是当子组特征为算法决策过程的明确输入时产生的差异。

单独的治疗

#fairness

将正文的敏感特性分解成算法决策过程,以便以不同方式处理不同的子群体。

例如,假设我们有一个算法根据他们申请贷款时提供的数据来确定小住房贷款是否符合小额贷款的条件。如果该算法使用 Lliliputian 的联属项作为 Big-Endian 或 Little-Endian 作为输入数据,则会沿此维度实施不同的处理。

不同影响不同,该影响关注算法决策对子群组的社会影响差异,而不考虑这些子群组是否是模型的输入。

E

机会均衡

#fairness
一个公平性指标,用于检查某个首选标签(可给人带来好处或好处)和给定的属性,即分类器会预测该属性的首选值是否同样出色。换言之,机会均等衡量的是那些有资格获得机会的人,无论他们是否属于其他群体成员,都同样有可能获得该机会。

例如,假设 Glubbdubdrib 大学允许 Liliiputians 和 Brobdingnagians 参加严格的数学课程。立陶宛的中学提供健全的数学课程,绝大多数学生都符合大学计划的资格要求。布鲁布纳吉纳中学根本不提供数学课程,因此,符合条件的学生数量也大大减少。如果符合条件的学生有可能被批准加入,则无论其身份是否属于立体主义者或布鲁克拿纳戈纳人,只要符合国籍(首选学习者)即可。

例如,假设有 100 位 Lilliputians 和 100 Brobdingnagians 申请到格鲁布杜布勒大学,并且录取决定如下所示:

表 1. 小程序申请人(90% 符合条件)

  符合资格 不合格
允许 45 3
已拒绝 45 7
总计 90 10
符合条件的入学学生所占百分比:45/90 = 50%
不符合条件的学生所占百分比:7/10 = 70%
入学的学生总数所占百分比:(45+3)/100 = 48%

 

表 2. 布鲁布尼亚语申请者(10% 符合条件):

  符合资格 不合格
允许 5 9
已拒绝 5 81
总计 10 90
成功入学的学生所占百分比:5/10 = 50%
不符合条件的学生所占百分比:81/90 = 90%
准入学生比例

以上示例满足了符合条件的学生接受教育机会的条件,因为符合条件的 Lilliputians 和 Brobdingnagians 均有 50% 的入学几率。

如需详细了解机会平等性,请参阅监督式学习中的机会平等。另请参阅“使用更智能的机器学习来消除歧视”,以可视化方式探讨在机会平等方面进行优化时的权衡取舍。

均衡赔率

#fairness
一个公平性指标,用于检查对于任何特定标签和属性,分类器是否都可以针对该属性的所有值预测该标签。

例如,假设 Glubbdubdrib 大学允许 Liliiputians 和 Brobdingnagians 参加严格的数学课程。立陶宛的中学提供强大的数学课程,绝大多数学生都符合大学计划的资格要求。布罗德纳吉亚中学根本不提供数学课程,因此,符合条件的学生也不多。均等几率是指,无论申请人是立法者还是布鲁托纳格人,只要他们符合条件,就同样有可能获准加入该计划;如果不符合条件,申请获批的可能性也一样。

假设有 100 位 Lilliputians 和 100 Brobdingnagias 申请了 Glubbdubdrib 大学,录取决定如下:

表 3. 小程序申请人(90% 符合条件)

  符合资格 不合格
允许 45 2
已拒绝 45 8
总计 90 10
符合条件的入学学生所占百分比:45/90 = 50%
不符合条件的学生所占百分比:8/10 = 80%
入学的学生总数所占百分比:(45+2)/100 = 47%

 

表 4. 布鲁布尼亚语申请者(10% 符合条件):

  符合资格 不合格
允许 5 18
已拒绝 5 72
总计 10 90
符合条件的符合条件的学生占比:5/10 = 50%
不符合条件的学生所占百分比:72/90 = 80%
准入学生比例,超过 50%:

相等的几率符合要求,因为符合条件的 Lilliputian 和 Brobdingnagian 学生都有机会入选,不合格的 Lilliputian 和 Brobdingnagian 学生有 80% 的机会被拒绝。

“等式几率均等”在“监督式学习中的机会均衡”中正式定义,如下所示:“预测器 › 满足受保护属性 A 满足结果均等几率且 Y 和 A 各自为 Y 的条件。”

实验者偏差

#fairness

请参阅确认偏差

F

公平性约束

#fairness
对算法应用限制条件以确保满足一个或多个公平定义。公平性限制的示例包括:

公平性指标

#fairness

数学上有关“公平”的定义。 一些常用的公平性指标包括:

许多公平性指标是互斥的;请参阅公平性指标的不兼容性

G

群组归因偏差

#fairness

我们假设,对于个人来说,每个人正确的说法是正确的,如果使用便捷抽样进行数据收集,组归因偏差的影响会放大。在非代表性样本中,归因不能反映真实情况。

另请参阅群外同质性偏差群体内偏差

I

隐性偏差

#fairness

根据用户的心理模型和记忆力自动建立关联或假设。隐式偏差会影响以下因素:

  • 数据的收集和分类。
  • 机器学习系统的设计和开发方式。

例如,在构建用于识别婚礼照片的分类器时,工程师可能会将照片中的白色连衣裙作为地图项。不过,白色服装仅在特定时代和某些文化中是一种习俗。

另请参阅确认偏差

公平性指标不兼容

#fairness

有些公平性的概念是互不兼容的,无法同时满足。因此,没有一种可用于量化所有机器学习问题的通用指标

虽然这样可能会令人沮丧,但公平性指标的不兼容性并不意味着公平努力是没有效果的。而是建议对于具体机器学习问题,必须在上下文中定义公平性,目标是防范特定于其使用场景的损害。

有关此主题的更详细讨论,请参阅“(不公平性)可能性”

公平性

#fairness

一种公平性指标,用于检查类似个人是否被分类为类似内容。例如,Brobdingnagian Academy 希望确保具有相同成绩和标准化测试分数的两名学生同样有可能获得录取,从而满足个人公平性。

请注意,个体公平性完全取决于您定义“相似性”(在本例中是评分和测试分数)的方式;如果您的相似度指标缺少重要信息(例如学生课程的严谨性),您将面临引入新的公平性问题的风险。

请参阅通过感知实现公平性,进一步详细了解个人公平性。

群内偏差

#fairness

对某人所属的群体或自己的特征表现出一定的偏见。 如果测试人员或评估者由机器学习开发者的好友、家人或同事组成,则组内偏差可能会导致产品测试或数据集无效。

组内偏差是一种组归因偏差。另请参阅群体外同质性偏差

未回答偏差

#fairness

请参阅选择偏差

O

群体外同质性偏差

#fairness

在比较态度、价值观、个性特征和其他特征时,通常认为群外成员比群内成员更相似。“群组内”是指您经常互动的用户;“群组外”是指您不经常互动的用户。如果您通过要求用户提供群组外属性来创建数据集,这些属性可能比参与者为群组内的人员列出的属性更细微和更刻板。

例如,小人可能会详细描述其他小人家的房子,引用建筑风格、窗户、门和大小方面的细微差异。然而,同一个小人家可能会简单地说布洛金纳吉人都住在相同的房子里。

组外同质性偏差是一种组归因偏差

另请参阅组内偏差

P

参与偏差

#fairness

与未回答偏差的含义相同。请参阅选择偏差

后期处理

#fairness
#fundamentals

在运行模型之后调整模型的输出。后期处理可用于强制执行公平限制条件,而无需修改模型本身。

例如,可以对二元分类器进行后期处理,方法是设置分类阈值,从而通过检查该属性的所有值是否满足真正例率,来保持某个属性的机会均衡性

预测等效

#fairness

公平性指标,用于检查给定分类器对所考虑子组的精确率是否相同。

预测性对等性有时也称为预测性对等性

有关预测性等效性的详细讨论,请参阅“公平性定义”部分(第 3.2.1 节)。

预测率等效

#fairness

预测性等效项的另一种名称。

预处理

#fairness
在使用数据训练模型之前对其进行处理。预处理可能只是从英语文本语料库中移除不存在于英语字典中的字词,或者也可以非常复杂,以能够消除尽可能多的与敏感属性相关的属性来重新表达数据点。预处理有助于满足公平性限制

代理(敏感属性)

#fairness
用作敏感属性的替代属性。例如,个人的邮政编码可以用作其收入、种族或民族的代理。

(右)

报告偏差

#fairness

人们描述行动、结果或属性的频率并不反映其真实频率或某个特征在一类的特征中的程度。报告偏差可能会影响机器学习系统学习的数据组成。

例如,在书中,“laughed”比“breathed”更常用。如果某个机器学习模型估算了图书语料库的笑声和呼吸的相对频率,可能会认为笑声比呼吸更常见。

S

采样偏差

#fairness

请参阅选择偏差

选择偏差

#fairness

由于选择过程会导致数据中观察到的样本与未观测到的样本之间存在系统性差异,因此我们从抽样数据中得出的结论有误。存在以下形式的选择偏差:

  • 覆盖率偏差:数据集表示的人口与机器学习模型进行预测的群体不一致。
  • 采样偏差:数据不是从目标群体中随机收集的。
  • 未回答偏差(也称为“参与偏差”):特定群体的用户以与其他群体中的用户不同的频率选择不参加问卷调查。

例如,假设您要创建一个机器学习模型,预测人们对电影的欣赏情况。为了收集训练数据,您需要在电影院最前面的一排影院向所有人分发一份调查问卷。当然,这似乎是收集数据集的合理方法;但是,这种形式的数据收集可能会引入以下形式的选择偏差:

  • 覆盖率偏差:通过从选择观看该电影的人群中采样,模型的预测结果可能不会泛化到尚未对这部电影表现出兴趣的用户。
  • 采样偏差:您只对前排的用户进行采样,而不是从预期人群(电影中的所有人员)随机采样。位于第一排的人们可能比其他行的用户对电影更感兴趣。
  • 未回答偏差:通常,意见较强烈的人往往会比没有轻度意见的人更频繁地回复可选调查问卷。由于电影调查问卷是可选的,因此回复更有可能形成双模分布,而不是正态(铃铛)分布。

敏感属性

#fairness
出于法律、道德、社会或个人原因可能被特别考虑的人类特征。

U

不知道(至敏感属性)

#fairness

存在敏感特性但并未包含在训练数据中的情况。由于敏感特性通常与数据的其他特性相关,因此在训练时忽略敏感特性的模型仍然可能对该属性具有不同的影响,或者违反了其他公平限制