На этой странице содержатся термины глоссария Fairness. Чтобы просмотреть все термины глоссария, нажмите здесь .
А
атрибут
Синоним функции .
В рамках справедливости машинного обучения атрибуты часто относятся к характеристикам, относящимся к отдельным людям.
предвзятость автоматизации
Когда человек, принимающий решения, предпочитает рекомендации автоматизированной системы принятия решений информации, полученной без автоматизации, даже если автоматизированная система принятия решений допускает ошибки.
Дополнительную информацию см. в разделе «Справедливость: типы предвзятости» в ускоренном курсе машинного обучения.
Б
предвзятость (этика/справедливость)
1. Стереотипы, предрассудки или фаворитизм в отношении одних вещей, людей или групп по сравнению с другими. Эти предубеждения могут повлиять на сбор и интерпретацию данных, дизайн системы и то, как пользователи взаимодействуют с системой. К формам этого типа предвзятости относятся:
- предвзятость автоматизации
- предвзятость подтверждения
- предвзятость экспериментатора
- предвзятость групповой атрибуции
- неявная предвзятость
- внутригрупповая предвзятость
- предвзятость в отношении однородности чужой группы
2. Систематическая ошибка, вызванная процедурой выборки или отчетности. К формам этого типа предвзятости относятся:
- смещение охвата
- предвзятость в связи с отсутствием ответов
- предвзятость участия
- предвзятость в отчетности
- смещение выборки
- предвзятость отбора
Не путать с термином «предвзятость» в моделях машинного обучения или «предвзятость прогнозирования» .
Дополнительную информацию см. в разделе «Справедливость: типы предвзятости» в ускоренном курсе машинного обучения.
С
предвзятость подтверждения
Тенденция искать, интерпретировать, отдавать предпочтение и вспоминать информацию таким образом, чтобы подтвердить ранее существовавшие убеждения или гипотезы. Разработчики машинного обучения могут непреднамеренно собирать или маркировать данные таким образом, что это повлияет на результат, подтверждающий их существующие убеждения. Предвзятость подтверждения — это форма неявной предвзятости .
Предвзятость экспериментатора — это форма предвзятости подтверждения, при которой экспериментатор продолжает обучение моделей до тех пор, пока не подтвердится ранее существовавшая гипотеза.
контрфактическая справедливость
Метрика справедливости , которая проверяет, дает ли классификатор тот же результат для одного человека, что и для другого человека, идентичного первому, за исключением одного или нескольких чувствительных атрибутов . Оценка классификатора на предмет контрфактической справедливости является одним из методов выявления потенциальных источников систематической ошибки в модели.
Дополнительную информацию см. в одном из следующих разделов:
- Справедливость: контрфактическая справедливость в ускоренном курсе машинного обучения.
- Когда миры сталкиваются: справедливое объединение различных контрфактических предположений
смещение охвата
См. смещение выбора .
Д
демографический паритет
Метрика справедливости , которая удовлетворяется, если результаты классификации модели не зависят от заданного конфиденциального атрибута .
Например, если и лилипуты, и бробдингнаги подают документы в университет Глуббдубдриб, демографический паритет достигается, если процент принятых лилипутов такой же, как процент принятых бробдингнагов, независимо от того, является ли одна группа в среднем более квалифицированной, чем другая.
Сравните с уравниванием шансов и равенством возможностей , которые позволяют результатам классификации в совокупности зависеть от конфиденциальных атрибутов, но не позволяют результатам классификации для определенных указанных основных меток истинности зависеть от конфиденциальных атрибутов. См. «Борьба с дискриминацией с помощью более разумного машинного обучения» , где представлена визуализация компромиссов при оптимизации для достижения демографического паритета.
Дополнительную информацию см. в разделе «Справедливость: демографический паритет» в ускоренном курсе машинного обучения.
несопоставимое воздействие
Принятие решений о людях, которые непропорционально влияют на разные подгруппы населения. Обычно это относится к ситуациям, когда алгоритмический процесс принятия решений вредит или приносит пользу одним подгруппам больше, чем другим.
Например, предположим, что алгоритм, определяющий право лилипутов на получение кредита на миниатюрный дом, с большей вероятностью классифицирует их как «неправомочных», если их почтовый адрес содержит определенный почтовый индекс. Если лилипуты с прямым порядком байтов с большей вероятностью будут иметь почтовые адреса с этим почтовым индексом, чем лилипуты с прямым порядком байтов, то этот алгоритм может привести к несопоставимому воздействию.
В отличие от несопоставимого подхода , который фокусируется на различиях, возникающих в результате того, что характеристики подгруппы являются явными входными данными для алгоритмического процесса принятия решений.
несопоставимое обращение
Включение чувствительных качеств субъектов в алгоритмический процесс принятия решений, при котором к различным подгруппам людей относятся по-разному.
Например, рассмотрим алгоритм, который определяет право лилипутов на получение кредита на строительство миниатюрного дома на основе данных, которые они предоставляют в своей заявке на кредит. Если алгоритм использует в качестве входных данных принадлежность лилипута к Big-Endian или Little-Endian, он применяет несопоставимую обработку по этому измерению.
Сравните с несопоставимым воздействием , которое фокусируется на различиях в социальном воздействии алгоритмических решений на подгруппы, независимо от того, являются ли эти подгруппы входными данными для модели.
Э
равенство возможностей
Метрика справедливости , позволяющая оценить, одинаково ли хорошо модель предсказывает желаемый результат для всех значений чувствительного атрибута . Другими словами, если желаемым результатом модели является положительный класс , цель состоит в том, чтобы истинный положительный уровень был одинаковым для всех групп.
Равенство возможностей связано с уравниванием шансов , которое требует, чтобы как истинно положительные, так и ложноположительные показатели были одинаковыми для всех групп.
Предположим, университет Глаббдубдриб принимает как лилипутов, так и бробдингнегов на строгую математическую программу. Средние школы лилипутов предлагают обширную программу занятий по математике, и подавляющее большинство учащихся имеют право на университетскую программу. В средних школах Бробдингнеджана вообще не проводятся занятия по математике, и в результате гораздо меньше учеников имеют соответствующую квалификацию. Равенство возможностей соблюдается для предпочтительного ярлыка «допущенный» в отношении национальности (лилипут или бробдингнаг), если квалифицированные студенты имеют одинаковую вероятность быть принятыми независимо от того, являются ли они лилипутами или бробдингнегами.
Например, предположим, что 100 лилипутов и 100 бробдингнагцев подают заявки в университет Глаббдубдриб, и решения о приеме принимаются следующим образом:
Таблица 1. Кандидаты-лилипуты (90% соответствуют требованиям)
| Квалифицированный | Неквалифицированный | |
|---|---|---|
| Допущенный | 45 | 3 |
| Отклоненный | 45 | 7 |
| Общий | 90 | 10 |
| Процент зачисленных квалифицированных студентов: 45/90 = 50%. Процент отклоненных неквалифицированных студентов: 7/10 = 70% Общий процент принятых студентов-лилипутов: (45+3)/100 = 48%. | ||
Таблица 2. Кандидаты из Бробдингнага (10% соответствуют требованиям):
| Квалифицированный | Неквалифицированный | |
|---|---|---|
| Допущенный | 5 | 9 |
| Отклоненный | 5 | 81 |
| Общий | 10 | 90 |
| Процент принятых квалифицированных студентов: 5/10 = 50% Процент отклоненных неквалифицированных студентов: 81/90 = 90%. Общий процент зачисленных студентов Бробдингнага: (5+9)/100 = 14%. | ||
Предыдущие примеры удовлетворяют равенству возможностей для приема квалифицированных студентов, поскольку квалифицированные лилипуты и бробдингнаги имеют 50% шансов на поступление.
Хотя равенство возможностей соблюдается, следующие два показателя справедливости не выполняются:
- демографический паритет : лилипуты и бробдингнаги принимаются в университет с разной скоростью; Принимаются 48% студентов-лилипутов, но только 14% студентов-бробдингнегов.
- уравненные шансы : хотя квалифицированные студенты-лилипуты и бробдингнаги имеют одинаковые шансы на поступление, дополнительное ограничение, заключающееся в том, что неквалифицированные лилипуты и бробдингнаги имеют одинаковые шансы быть отвергнутыми, не удовлетворяется. У неквалифицированных лилипутов процент отказов составляет 70%, тогда как у неквалифицированных бробдингнегов — 90%.
Дополнительную информацию см. в разделе «Справедливость: равенство возможностей в ускоренном курсе машинного обучения».
уравненные шансы
Метрика справедливости, позволяющая оценить, одинаково ли хорошо модель прогнозирует результаты для всех значений чувствительного атрибута как в отношении положительного, так и в отношении отрицательного класса, а не только одного или другого класса. Другими словами, как истинно положительный уровень , так и уровень ложноотрицательного результата должны быть одинаковыми для всех групп.
Уравненные шансы связаны с равенством возможностей , которое фокусируется только на частоте ошибок для одного класса (положительных или отрицательных).
Например, предположим, что университет Глаббдубдриб принимает как лилипутов, так и бробдингнегов на строгую математическую программу. Средние школы лилипутов предлагают обширную программу занятий по математике, и подавляющее большинство учащихся имеют право на университетскую программу. В средних школах Бробдингнеджана вообще не проводятся занятия по математике, и в результате гораздо меньше учеников имеют соответствующую квалификацию. Уравненные шансы удовлетворяются при условии, что независимо от того, является ли заявитель лилипутом или бробдингнежцем, если он соответствует требованиям, он имеет одинаковую вероятность быть допущенным к программе, а если он не соответствует требованиям, он с одинаковой вероятностью будет отклонен. .
Предположим, 100 лилипутов и 100 бробдингнагцев подают заявки в университет Глаббдубдриб, и решения о приеме принимаются следующим образом:
Таблица 3. Кандидаты-лилипуты (90% соответствуют требованиям)
| Квалифицированный | Неквалифицированный | |
|---|---|---|
| Допущенный | 45 | 2 |
| Отклоненный | 45 | 8 |
| Общий | 90 | 10 |
| Процент зачисленных квалифицированных студентов: 45/90 = 50%. Процент отклоненных неквалифицированных студентов: 8/10 = 80% Общий процент зачисленных студентов-лилипутов: (45+2)/100 = 47%. | ||
Таблица 4. Кандидаты из Бробдингнага (10% соответствуют требованиям):
| Квалифицированный | Неквалифицированный | |
|---|---|---|
| Допущенный | 5 | 18 |
| Отклоненный | 5 | 72 |
| Общий | 10 | 90 |
| Процент принятых квалифицированных студентов: 5/10 = 50% Процент отклоненных неквалифицированных студентов: 72/90 = 80%. Общий процент зачисленных студентов Бробдингнега: (5+18)/100 = 23%. | ||
Уравненные шансы удовлетворяются, потому что квалифицированные студенты-лилипуты и бробдингнеги имеют 50% шанс быть принятыми, а неквалифицированные лилипуты и бробдингнаги имеют 80% шанс быть отклоненными.
Уравненные шансы формально определены в «Равенстве возможностей в контролируемом обучении» следующим образом: «предиктор Ŷ удовлетворяет уравненным шансам в отношении защищенного атрибута A и результата Y, если Ŷ и A независимы, при условии зависимости от Y».
предвзятость экспериментатора
См. предвзятость подтверждения .
Ф
ограничение справедливости
Применение ограничения к алгоритму для обеспечения соблюдения одного или нескольких определений справедливости. Примеры ограничений справедливости включают в себя:- Постобработка результатов вашей модели.
- Изменение функции потерь для включения штрафа за нарушение показателя справедливости .
- Непосредственное добавление математического ограничения к задаче оптимизации.
показатель справедливости
Математическое определение «справедливости», поддающееся измерению. Некоторые часто используемые показатели справедливости включают в себя:
Многие показатели справедливости являются взаимоисключающими; см . несовместимость показателей справедливости .
Г
предвзятость групповой атрибуции
Предполагается, что то, что верно для отдельного человека, верно и для всех членов этой группы. Эффект предвзятости групповой атрибуции может усугубиться, если для сбора данных используется удобная выборка . В нерепрезентативной выборке могут быть сделаны атрибуции, не отражающие реальность.
См. также смещение из-за однородности чужой группы и смещение внутри группы . Также для получения дополнительной информации см. «Справедливость: типы предвзятости в ускоренном курсе машинного обучения».
ЧАС
исторический уклон
Тип предвзятости , который уже существует в мире и проник в набор данных. Эти предубеждения имеют тенденцию отражать существующие культурные стереотипы, демографическое неравенство и предубеждения против определенных социальных групп.
Например, рассмотрим классификационную модель , которая прогнозирует, не выполнит ли заявитель на получение кредита дефолт по своему кредиту, которая была обучена на исторических данных о невыплатах по кредитам за 1980-е годы от местных банков в двух разных сообществах. Если бы прошлые заявители из Сообщества А имели в шесть раз больше шансов не выполнить свои обязательства по своим кредитам, чем заявители из Сообщества Б, модель могла бы усвоить историческую предвзятость, в результате чего модель с меньшей вероятностью одобрит кредиты в Сообществе А, даже если исторические условия, которые привели к этому, в этом сообществе более высокие показатели дефолта больше не актуальны.
Дополнительную информацию см. в разделе «Справедливость: типы предвзятости» в ускоренном курсе машинного обучения.
я
неявная предвзятость
Автоматическое создание ассоциации или предположения на основе моделей ума и воспоминаний. Неявная предвзятость может повлиять на следующее:
- Как данные собираются и классифицируются.
- Как проектируются и разрабатываются системы машинного обучения.
Например, при построении классификатора для идентификации свадебных фотографий инженер может использовать в качестве признака наличие на фотографии белого платья. Однако белые платья были обычным явлением только в определенные эпохи и в определенных культурах.
См. также предвзятость подтверждения .
несовместимость показателей справедливости
Идея о том, что некоторые понятия справедливости несовместимы друг с другом и не могут быть удовлетворены одновременно. В результате не существует единого универсального показателя для количественной оценки справедливости, который можно было бы применить ко всем проблемам ОД.
Хотя это может показаться обескураживающим, несовместимость показателей справедливости не означает, что усилия по обеспечению справедливости бесплодны. Вместо этого предполагается, что справедливость должна определяться контекстуально для конкретной проблемы ОД с целью предотвращения вреда, специфичного для случаев ее использования.
См . «О (не)возможности справедливости» для более подробного обсуждения этой темы.
индивидуальная справедливость
Метрика справедливости, которая проверяет, классифицируются ли похожие люди одинаково. Например, Академия Бробдингнагяна может захотеть обеспечить индивидуальную справедливость, гарантируя, что два студента с одинаковыми оценками и результатами стандартизированных тестов имеют равную вероятность поступления.
Обратите внимание, что индивидуальная справедливость полностью зависит от того, как вы определяете «сходство» (в данном случае оценки и результаты тестов), и вы можете рискнуть создать новые проблемы со справедливостью, если ваш показатель сходства упускает важную информацию (например, строгость оценки учащегося). учебный план).
См . «Справедливость через осведомленность» для более подробного обсуждения индивидуальной справедливости.
внутригрупповая предвзятость
Проявление пристрастия к своей группе или собственным характеристикам. Если в число тестировщиков или оценщиков входят друзья, члены семьи или коллеги разработчика машинного обучения, то групповая предвзятость может сделать тестирование продукта или набора данных недействительным.
Внутригрупповая предвзятость — это форма предвзятости групповой атрибуции . См. также предвзятость однородности аут-группы .
Дополнительную информацию см. в разделе «Справедливость: типы предвзятости» в ускоренном курсе машинного обучения.
Н
предвзятость в связи с отсутствием ответов
См. смещение выбора .
О
предвзятость в отношении однородности чужой группы
Тенденция рассматривать членов чужой группы более похожими, чем членов своей группы, при сравнении взглядов, ценностей, личностных качеств и других характеристик. Под группой подразумеваются люди, с которыми вы регулярно общаетесь; К аут-группе относятся люди, с которыми вы не общаетесь регулярно. Если вы создаете набор данных, попросив людей предоставить атрибуты чужих групп, эти атрибуты могут быть менее детальными и более стереотипными, чем атрибуты, которые участники перечисляют для людей из своей группы.
Например, лилипуты могут очень подробно описывать дома других лилипутов, ссылаясь на небольшие различия в архитектурных стилях, окнах, дверях и размерах. Однако те же лилипуты могли бы просто заявить, что все бробдингнегцы живут в одинаковых домах.
Предвзятость однородности аутгруппы — это форма предвзятости групповой атрибуции .
См. также внутригрупповую предвзятость .
П
предвзятость участия
Синоним систематической ошибки в связи с отсутствием ответов. См. смещение выбора .
постобработка
Корректировка вывода модели после ее запуска. Постобработка может использоваться для обеспечения соблюдения ограничений справедливости без изменения самих моделей.
Например, можно применить постобработку к двоичному классификатору, установив порог классификации таким образом, чтобы для некоторого атрибута сохранялось равенство возможностей , проверяя, что истинный положительный уровень одинаков для всех значений этого атрибута.
прогнозируемая четность
Метрика справедливости , которая проверяет, эквивалентны ли для данного классификатора показатели точности для рассматриваемых подгрупп.
Например, модель, предсказывающая поступление в колледж, будет удовлетворять прогнозному паритету национальности, если ее уровень точности одинаков для лилипутов и бробдингнегов.
Прогнозируемый паритет иногда также называют прогнозирующим паритетом ставок .
См. «Объяснение определений справедливости» (раздел 3.2.1) для более подробного обсуждения прогнозируемой четности.
прогнозируемый паритет ставок
Другое название прогнозирующей четности .
предварительная обработка
Обработка данных перед их использованием для обучения модели. Предварительная обработка может быть такой же простой, как удаление слов из корпуса английского текста, которых нет в английском словаре, или может быть такой же сложной, как повторное выражение точек данных таким образом, чтобы исключить как можно больше атрибутов, которые коррелируют с конфиденциальными атрибутами. . Предварительная обработка может помочь удовлетворить ограничения справедливости .прокси (чувствительные атрибуты)
Атрибут, используемый в качестве замены конфиденциального атрибута . Например, почтовый индекс человека может использоваться в качестве показателя его дохода, расовой или этнической принадлежности.Р
предвзятость в отчетности
Тот факт, что частота, с которой люди пишут о действиях, результатах или свойствах, не является отражением их реальных частот или степени, в которой свойство характерно для класса людей. Предвзятость отчетности может повлиять на состав данных, на которых учатся системы машинного обучения.
Например, в книгах слово «смеяться» встречается чаще, чем «дышать» . Модель машинного обучения, которая оценивает относительную частоту смеха и дыхания по корпусу книг, вероятно, определит, что смех встречается чаще, чем дыхание.
С
смещение выборки
См. смещение выбора .
предвзятость отбора
Ошибки в выводах, сделанных на основе выборочных данных, из-за процесса отбора, который приводит к систематическим различиям между выборками, наблюдаемыми в данных, и теми, которые не наблюдались. Существуют следующие формы систематической ошибки отбора:
- смещение охвата : популяция, представленная в наборе данных, не соответствует популяции, о которой прогнозирует модель машинного обучения.
- систематическая ошибка выборки : данные из целевой группы собираются не случайным образом.
- предвзятость отсутствия ответов (также называемая предвзятостью участия ): пользователи из определенных групп отказываются от участия в опросах с разной частотой, чем пользователи из других групп.
Например, предположим, что вы создаете модель машинного обучения, которая предсказывает удовольствие людей от фильма. Чтобы собрать данные обучения, вы раздаете опросник всем, кто находится в первом ряду кинотеатра, где показывают фильм. На первый взгляд это может показаться разумным способом сбора набора данных; однако эта форма сбора данных может привести к следующим формам систематической ошибки отбора:
- предвзятость охвата: при выборке из группы населения, которая решила посмотреть фильм, прогнозы вашей модели могут не распространяться на людей, которые еще не проявили такой уровень интереса к фильму.
- смещение выборки: вместо случайной выборки из предполагаемой совокупности (всех людей в фильме) вы выбрали только людей в первом ряду. Возможно, что люди, сидевшие в первом ряду, заинтересовались фильмом больше, чем те, кто сидел в других рядах.
- предвзятость в связи с отсутствием ответов. В целом, люди с сильными мнениями склонны отвечать на дополнительные опросы чаще, чем люди с умеренными мнениями. Поскольку опрос по фильму не является обязательным, ответы с большей вероятностью образуют бимодальное распределение, чем нормальное (колокольчатое) распределение.
чувствительный атрибут
Человеческий атрибут, которому можно уделять особое внимание по юридическим, этическим, социальным или личным причинам.ты
неосведомленность (к чувствительному атрибуту)
Ситуация, в которой конфиденциальные атрибуты присутствуют, но не включены в обучающие данные. Поскольку конфиденциальные атрибуты часто коррелируют с другими атрибутами данных, модель, обученная без знания конфиденциального атрибута, все равно может оказывать несопоставимое влияние по отношению к этому атрибуту или нарушать другие ограничения справедливости .