На этой странице содержится глоссарий терминов Fairness. Чтобы просмотреть все термины глоссария, щелкните здесь .
А
атрибут
Синоним характеристики .
В справедливости машинного обучения атрибуты часто относятся к характеристикам, относящимся к отдельным лицам.
предвзятость автоматизации
Когда человек, принимающий решения, отдает предпочтение рекомендациям, сделанным автоматизированной системой принятия решений, а не информации, полученной без автоматизации, даже если автоматизированная система принятия решений допускает ошибки.
Б
предвзятость (этика/справедливость)
1. Стереотипы, предрассудки или предпочтение одних вещей, людей или групп перед другими. Эти предубеждения могут повлиять на сбор и интерпретацию данных, дизайн системы и то, как пользователи взаимодействуют с системой. Формы этого типа смещения включают в себя:
- предвзятость автоматизации
- Подтверждение смещения
- предвзятость экспериментатора
- предвзятость групповой атрибуции
- неявное смещение
- внутригрупповая предвзятость
- смещение однородности вне группы
2. Систематическая ошибка, вызванная процедурой выборки или отчетности. Формы этого типа смещения включают в себя:
- смещение охвата
- систематическая ошибка, связанная с отсутствием ответов
- предвзятость участия
- предвзятость отчетности
- систематическая ошибка выборки
- критерий отбора
Не путать с термином смещения в моделях машинного обучения или смещением прогнозирования .
С
Подтверждение смещения
Склонность искать, интерпретировать, отдавать предпочтение и вспоминать информацию таким образом, чтобы подтвердить ранее существовавшие убеждения или гипотезы. Разработчики машинного обучения могут непреднамеренно собирать или маркировать данные таким образом, что это влияет на результат, поддерживающий их существующие убеждения. Предвзятость подтверждения — это форма неявной предвзятости .
Предвзятость экспериментатора — это форма предвзятости подтверждения, при которой экспериментатор продолжает обучать модели до тех пор, пока не будет подтверждена ранее существовавшая гипотеза.
контрфактическая справедливость
Метрика справедливости , которая проверяет, дает ли классификатор тот же результат для одного человека, что и для другого человека, идентичного первому, за исключением одного или нескольких конфиденциальных атрибутов . Оценка классификатора на предмет контрфактической справедливости — это один из методов выявления потенциальных источников систематической ошибки в модели.См. «Когда миры сталкиваются: интеграция различных контрфактических предположений в справедливость» для более подробного обсуждения контрфактической справедливости.
смещение охвата
См. предвзятость выбора .
Д
демографический паритет
Метрика справедливости , которая удовлетворяется, если результаты классификации модели не зависят от данного конфиденциального атрибута .
Например, если и лилипуты, и бробдингнегцы подают заявление в университет Глаббдубдриб, демографический паритет достигается, если процент допущенных лилипутов равен проценту допущенных бробдингнегцев, независимо от того, является ли одна группа в среднем более квалифицированной, чем другая.
В отличие от равных шансов и равенства возможностей , которые позволяют совокупным результатам классификации зависеть от конфиденциальных атрибутов, но не позволяют результатам классификации для определенных указанных меток достоверности зависеть от конфиденциальных атрибутов. См. «Атака на дискриминацию с помощью более умного машинного обучения» для визуализации, исследующей компромиссы при оптимизации демографического паритета.
разрозненное воздействие
Принятие решений о людях, которые непропорционально влияют на разные подгруппы населения. Обычно это относится к ситуациям, когда алгоритмический процесс принятия решений вредит или приносит пользу одним подгруппам больше, чем другим.
Например, предположим, что алгоритм, который определяет право лилипутов на получение ссуды на миниатюрный дом, с большей вероятностью классифицирует их как «неподходящих», если их почтовый адрес содержит определенный почтовый индекс. Если лилипуты с обратным порядком байтов с большей вероятностью будут иметь почтовые адреса с этим почтовым индексом, чем лилипуты с прямым порядком байтов, то этот алгоритм может привести к несоизмеримому воздействию.
В отличие от несопоставимой обработки , которая фокусируется на несоответствиях, которые возникают, когда характеристики подгруппы являются явными входными данными для алгоритмического процесса принятия решений.
разрозненное обращение
Включение чувствительных атрибутов субъектов в алгоритмический процесс принятия решений, чтобы к разным подгруппам людей относились по-разному.
Например, рассмотрим алгоритм, который определяет право лилипутов на получение ссуды на миниатюрный дом на основе данных, которые они предоставляют в своей заявке на ссуду. Если алгоритм использует принадлежность лилипута к Big-Endian или Little-Endian в качестве входных данных, он осуществляет несопоставимую обработку по этому измерению.
В отличие от несоизмеримого воздействия , которое фокусируется на различиях в социальном воздействии алгоритмических решений на подгруппы, независимо от того, являются ли эти подгруппы входными данными для модели.
Е
равенство возможностей
Метрика справедливости, которая проверяет, предсказывает ли классификатор для предпочтительного ярлыка (того, который дает преимущество или выгоду человеку) и данного атрибута одинаково хорошо этот предпочтительный ярлык для всех значений этого атрибута. Другими словами, равенство возможностей измеряет, имеют ли люди, которые должны претендовать на какую-либо возможность, возможность сделать это с одинаковой вероятностью, независимо от их принадлежности к группе.Например, предположим, что университет Глаббдубдриб допускает как лилипутов, так и бробдингнегцев к строгой математической программе. Средние школы лилипутов предлагают обширную учебную программу математических классов, и подавляющее большинство учащихся имеют право на участие в университетской программе. В средних школах Бробдингнегцев вообще нет уроков математики, и в результате гораздо меньше их учеников имеют квалификацию. Равенство возможностей удовлетворяется для предпочтительного ярлыка «допущен» в отношении национальности (лилипуты или бробдингнеги), если квалифицированные студенты имеют одинаковую вероятность быть принятыми, независимо от того, являются ли они лилипутами или бробдингнегцами.
Например, предположим, что 100 лилипутов и 100 бробдингнегцев подают заявление в университет Глаббдубдриб, и решения о зачислении принимаются следующим образом:
Таблица 1. Кандидаты-лилипуты (90% соответствуют требованиям)
| Квалифицированный | Неквалифицированный | |
|---|---|---|
| Допущенный | 45 | 3 |
| Отклоненный | 45 | 7 |
| Общий | 90 | 10 |
| Процент зачисленных квалифицированных студентов: 45/90 = 50% Процент неквалифицированных студентов, отклоненных: 7/10 = 70% Общий процент допущенных студентов-лилипутов: (45+3)/100 = 48% | ||
Таблица 2. Бробдингнегские кандидаты (10% соответствуют требованиям):
| Квалифицированный | Неквалифицированный | |
|---|---|---|
| Допущенный | 5 | 9 |
| Отклоненный | 5 | 81 |
| Общий | 10 | 90 |
| Процент зачисленных квалифицированных студентов: 5/10 = 50% Процент неквалифицированных студентов, отклоненных: 81/90 = 90% Общий процент допущенных студентов Бробдингнега: (5 + 9) / 100 = 14% | ||
Предыдущие примеры удовлетворяют равенству возможностей для приема квалифицированных студентов, потому что квалифицированные лилипуты и бробдингнегцы имеют 50% шансов быть принятыми.
См. «Равенство возможностей в контролируемом обучении» для более подробного обсуждения равенства возможностей. Также см. «Атака на дискриминацию с помощью интеллектуального машинного обучения» для визуализации, исследующей компромиссы при оптимизации для обеспечения равенства возможностей.
равные шансы
Метрика справедливости , которая проверяет, предсказывает ли классификатор для какой-либо конкретной метки и атрибута эту метку одинаково хорошо для всех значений этого атрибута.Например, предположим, что университет Глаббдубдриб допускает как лилипутов, так и бробдингнегцев к строгой математической программе. Средние школы лилипутов предлагают обширную учебную программу математических классов, и подавляющее большинство учащихся имеют право на участие в университетской программе. В средних школах Бробдингнегцев вообще нет уроков математики, и в результате гораздо меньше их учеников имеют квалификацию. Уравнение шансов выполняется при условии, что независимо от того, является ли заявитель лилипутом или бробдингнегцем, если он соответствует требованиям, он с одинаковой вероятностью будет принят в программу, а если он не соответствует требованиям, он с равной вероятностью будет отклонен. .
Допустим, 100 лилипутов и 100 бробдингнегцев подают заявление в университет Глаббдубдриб, и решения о зачислении принимаются следующим образом:
Таблица 3. Кандидаты-лилипуты (90% соответствуют требованиям)
| Квалифицированный | Неквалифицированный | |
|---|---|---|
| Допущенный | 45 | 2 |
| Отклоненный | 45 | 8 |
| Общий | 90 | 10 |
| Процент зачисленных квалифицированных студентов: 45/90 = 50% Процент неквалифицированных студентов, отклоненных: 8/10 = 80% Общий процент допущенных студентов-лилипутов: (45+2)/100 = 47% | ||
Таблица 4. Бробдингнегские кандидаты (10% соответствуют требованиям):
| Квалифицированный | Неквалифицированный | |
|---|---|---|
| Допущенный | 5 | 18 |
| Отклоненный | 5 | 72 |
| Общий | 10 | 90 |
| Процент зачисленных квалифицированных студентов: 5/10 = 50% Процент неквалифицированных студентов, отклоненных: 72/90 = 80% Общий процент принятых студентов Бробдингнега: (5 + 18) / 100 = 23% | ||
Уравнение шансов выполняется, потому что у квалифицированных студентов-лилипутов и бробдингнегцев есть 50% шансов быть принятыми, а у неквалифицированных лилипутов и бробдингнегцев есть 80% шансов быть отклоненными.
Уравнение шансов формально определяется в «Равенстве возможностей в контролируемом обучении» следующим образом: «предиктор Ŷ удовлетворяет уравнению шансов в отношении защищенного атрибута A и результата Y, если Ŷ и A независимы и зависят от Y».
предвзятость экспериментатора
См. предвзятость подтверждения .
Ф
ограничение справедливости
Применение ограничения к алгоритму для обеспечения выполнения одного или нескольких определений справедливости. Примеры ограничений справедливости включают:- Постобработка вывода вашей модели.
- Изменение функции потерь для включения штрафа за нарушение метрики справедливости .
- Непосредственное добавление математического ограничения к задаче оптимизации.
показатель справедливости
Математическое определение «справедливости», которое поддается измерению. Некоторые часто используемые показатели справедливости включают в себя:
Многие показатели справедливости являются взаимоисключающими; см. несовместимость показателей справедливости .
г
предвзятость групповой атрибуции
Предполагать, что то, что верно для отдельного человека, верно и для всех в этой группе. Эффект групповой атрибуции может усугубиться, если для сбора данных используется удобная выборка . В нерепрезентативной выборке могут быть сделаны атрибуции, не отражающие действительности.
См. также систематическая ошибка однородности вне группы и систематическая ошибка внутри группы .
я
неявное смещение
Автоматическое создание ассоциации или предположения на основе своих ментальных моделей и воспоминаний. Неявное смещение может повлиять на следующее:
- Как данные собираются и классифицируются.
- Как проектируются и разрабатываются системы машинного обучения.
Например, при построении классификатора для идентификации свадебных фотографий инженер может использовать присутствие белого платья на фотографии в качестве признака. Однако белые платья были популярны только в определенные эпохи и в определенных культурах.
См. также предвзятость подтверждения .
несовместимость показателей справедливости
Идея о том, что некоторые понятия справедливости взаимно несовместимы и не могут быть удовлетворены одновременно. В результате не существует единой универсальной метрики для количественной оценки справедливости, которую можно было бы применить ко всем проблемам машинного обучения.
Хотя это может показаться обескураживающим, несовместимость показателей справедливости не означает, что усилия по обеспечению справедливости бесплодны. Вместо этого он предполагает, что справедливость должна определяться контекстуально для данной проблемы ML с целью предотвращения вреда, характерного для его вариантов использования.
См. «О (не)возможности справедливости» для более подробного обсуждения этой темы.
индивидуальная справедливость
Метрика справедливости, которая проверяет, одинаково ли классифицируются похожие лица. Например, Brobdingnagian Academy может захотеть удовлетворить индивидуальную справедливость, гарантируя, что два студента с одинаковыми оценками и результатами стандартизированных тестов с одинаковой вероятностью будут приняты.
Обратите внимание, что индивидуальная справедливость полностью зависит от того, как вы определяете «сходство» (в данном случае оценки и баллы за тесты), и вы можете столкнуться с риском возникновения новых проблем со справедливостью, если ваша метрика схожести пропускает важную информацию (например, строгие требования учащегося). учебный план).
См. «Справедливость через осознание» для более подробного обсуждения индивидуальной справедливости.
внутригрупповая предвзятость
Демонстрация пристрастия к собственной группе или собственным характеристикам. Если тестировщики или оценщики состоят из друзей, членов семьи или коллег разработчика машинного обучения, то внутригрупповая предвзятость может сделать тестирование продукта или набор данных недействительным.
Внутригрупповая предвзятость — это форма предвзятости групповой атрибуции . См. также смещение однородности вне группы .
Н
систематическая ошибка, связанная с отсутствием ответов
См. предвзятость выбора .
О
смещение однородности вне группы
Тенденция рассматривать членов чужой группы как более похожих, чем членов своей группы, при сравнении взглядов, ценностей, личностных черт и других характеристик. Группа относится к людям, с которыми вы регулярно взаимодействуете; Внешняя группа относится к людям, с которыми вы не общаетесь регулярно. Если вы создаете набор данных, попросив людей предоставить атрибуты чужих групп, эти атрибуты могут быть менее детализированными и более стереотипными, чем атрибуты, которые участники перечисляют для людей в своей группе.
Например, лилипуты могут очень подробно описывать дома других лилипутов, указывая на небольшие различия в архитектурных стилях, окнах, дверях и размерах. Однако те же лилипуты могут просто заявить, что все бробдингнегцы живут в одинаковых домах.
Предвзятость однородности вне группы — это форма предвзятости групповой атрибуции .
См. также внутригрупповую предвзятость .
п
предвзятость участия
Синоним предвзятости из-за отсутствия ответов. См. предвзятость выбора .
Постобработка
Настройка вывода модели после запуска модели. Постобработку можно использовать для обеспечения соблюдения ограничений справедливости без изменения самих моделей.
Например, можно применить постобработку к двоичному классификатору, установив порог классификации таким образом, чтобы поддерживалось равенство возможностей для некоторого атрибута, путем проверки того, что истинная положительная частота одинакова для всех значений этого атрибута.
прогностический паритет
Метрика справедливости , которая проверяет, эквивалентны ли коэффициенты точности для данного классификатора для рассматриваемых подгрупп.
Например, модель, предсказывающая поступление в колледж, будет удовлетворять прогностическому паритету для национальности, если ее уровень точности одинаков для лилипутов и бробдингнегцев.
Прогнозируемая четность иногда также называется прогнозируемой четностью .
См. «Объяснение определений справедливости» (раздел 3.2.1) для более подробного обсуждения прогностического паритета.
прогнозируемый паритет ставок
Другое название прогнозирующей четности .
предварительная обработка
Обработка данных перед их использованием для обучения модели. Предварительная обработка может быть такой же простой, как удаление слов из корпуса английского текста, которые не встречаются в английском словаре, или может быть такой сложной, как повторное выражение точек данных таким образом, чтобы исключить как можно больше атрибутов, которые коррелируют с конфиденциальными атрибутами . . Предварительная обработка может помочь удовлетворить ограничения справедливости .прокси (чувствительные атрибуты)
Атрибут, используемый в качестве замены для конфиденциального атрибута . Например, почтовый индекс человека может использоваться в качестве косвенного показателя его дохода, расы или этнической принадлежности.р
предвзятость отчетности
Тот факт, что частота, с которой люди пишут о действиях, результатах или свойствах, не является отражением их реальных частот или степени, в которой свойство характерно для класса людей. Предвзятость в отчетности может повлиять на состав данных, из которых учатся системы машинного обучения.
Например, в книгах чаще встречается слово «смеялся» , чем «дышал» . Модель машинного обучения, которая оценивает относительную частоту смеха и дыхания по книжному корпусу, вероятно, определит, что смех встречается чаще, чем дыхание.
С
систематическая ошибка выборки
См. предвзятость выбора .
критерий отбора
Ошибки в выводах, сделанных на основе выборочных данных, из-за процесса отбора, который приводит к систематическим различиям между выборками, наблюдаемыми в данных, и теми, которые не наблюдались. Существуют следующие формы предвзятости выбора:
- смещение охвата : совокупность, представленная в наборе данных, не соответствует совокупности, относительно которой модель машинного обучения делает прогнозы.
- систематическая ошибка выборки : данные из целевой группы не собираются случайным образом.
- систематическая ошибка, связанная с отсутствием ответа (также называемая систематической ошибкой, связанной с участием ): пользователи из определенных групп отказываются от участия в опросах с разной частотой, чем пользователи из других групп.
Например, предположим, что вы создаете модель машинного обучения, которая предсказывает удовольствие людей от просмотра фильма. Чтобы собрать обучающие данные, вы раздаете опрос всем, кто находится в первом ряду кинотеатра, где показывают фильм. На первый взгляд это может показаться разумным способом собрать набор данных; однако эта форма сбора данных может привести к следующим формам систематической ошибки отбора:
- погрешность охвата: при выборке из населения, решившего посмотреть фильм, прогнозы вашей модели могут не распространяться на людей, которые еще не проявляли такой уровень интереса к фильму.
- систематическая ошибка выборки: вместо случайной выборки из предполагаемой совокупности (всех людей в фильме) вы отбирали только людей в первом ряду. Возможно, люди, сидевшие в первом ряду, больше интересовались фильмом, чем люди в других рядах.
- систематическая ошибка, связанная с отсутствием ответа: как правило, люди с твердым мнением, как правило, чаще отвечают на необязательные опросы, чем люди со сдержанным мнением. Поскольку обзор фильмов является необязательным, ответы с большей вероятностью образуют бимодальное распределение , чем нормальное (колоколообразное) распределение.
чувствительный атрибут
Человеческое качество, которому может быть уделено особое внимание по юридическим, этическим, социальным или личным причинам.U
неосознанность (к чувствительному атрибуту)
Ситуация, в которой чувствительные атрибуты присутствуют, но не включены в обучающие данные. Поскольку конфиденциальные атрибуты часто коррелируют с другими атрибутами данных, модель, обученная с неосведомленностью о конфиденциальном атрибуте, может по-прежнему оказывать несоизмеримое влияние на этот атрибут или нарушать другие ограничения справедливости .