Эта страница содержит термины глоссария Responsible AI. Все термины глоссария можно найти здесь .
А
атрибут
Синоним слова «feature» .
В машинном обучении атрибуты часто относятся к характеристикам, присущим отдельным людям.
предвзятость автоматизации
Когда человек, принимающий решения, отдает предпочтение рекомендациям, выработанным автоматизированной системой принятия решений, а не информации, полученной без автоматизации, даже если автоматизированная система принятия решений допускает ошибки.
Для получения дополнительной информации см. раздел «Справедливость: типы предвзятости» в ускоренном курсе по машинному обучению.
Б
предвзятость (этика/справедливость)
1. Стереотипы, предубеждения или фаворитизм по отношению к одним вещам, людям или группам по сравнению с другими. Эти предубеждения могут влиять на сбор и интерпретацию данных, структуру системы и взаимодействие пользователей с ней. Формы этого типа предубеждений включают:
- предвзятость автоматизации
- предвзятость подтверждения
- предвзятость экспериментатора
- групповая атрибуция
- неявная предвзятость
- предвзятость внутри группы
- смещение однородности аутгруппы
2. Систематическая ошибка, вызванная процедурой выборки или составления отчёта. К формам этого типа смещения относятся:
- смещение охвата
- смещение из-за отсутствия ответа
- предвзятость участия
- предвзятость отчетности
- смещение выборки
- смещение отбора
Не путать с термином «смещение» в моделях машинного обучения или «смещение предсказания» .
Для получения дополнительной информации см. раздел «Справедливость: типы предвзятости» в ускоренном курсе по машинному обучению.
С
предвзятость подтверждения
Склонность искать, интерпретировать, отдавать предпочтение и вспоминать информацию таким образом, чтобы она подтверждала уже существующие убеждения или гипотезы. Разработчики машинного обучения могут непреднамеренно собирать или маркировать данные таким образом, что это влияет на результат, подтверждающий их существующие убеждения. Склонность к подтверждению — это форма неявной склонности .
Смещение экспериментатора — это форма смещения подтверждения, при которой экспериментатор продолжает обучение моделей до тех пор, пока не подтвердится ранее выдвинутая гипотеза.
контрфактуальная справедливость
Метрика справедливости , которая проверяет, даёт ли модель классификации тот же результат для одного человека, что и для другого, идентичного первому, за исключением одного или нескольких чувствительных атрибутов . Оценка модели классификации на контрфактическую справедливость — один из методов выявления потенциальных источников смещения в модели.
Более подробную информацию можно найти в одном из следующих источников:
- Справедливость: контрфактуальная справедливость в ускоренном курсе по машинному обучению.
- Когда миры сталкиваются: интеграция различных контрфактуальных предположений в справедливость
смещение охвата
См. смещение отбора .
Д
демографический паритет
Метрика справедливости , которая выполняется, если результаты классификации модели не зависят от заданного чувствительного атрибута .
Например, если и лилипуты, и бробдингнегцы подают заявления в университет Глаббдабдриб, демографический паритет достигается, если процент принятых лилипутов совпадает с процентом принятых бробдингнегцев, независимо от того, является ли одна группа в среднем более квалифицированной, чем другая.
Сравните с уравненными шансами и равенством возможностей , которые допускают зависимость результатов классификации в совокупности от чувствительных атрибутов, но не допускают зависимости результатов классификации для определённых меток истинности от чувствительных атрибутов. Визуализацию, демонстрирующую компромиссы при оптимизации для достижения демографического паритета, см. в разделе «Борьба с дискриминацией с помощью более интеллектуального машинного обучения».
Для получения дополнительной информации см. раздел «Справедливость: демографический паритет» в учебном курсе по машинному обучению.
разрозненное воздействие
Принятие решений, касающихся людей, которые непропорционально влияют на различные подгруппы населения. Обычно это относится к ситуациям, когда алгоритмический процесс принятия решений наносит больший вред или приносит большую пользу одним подгруппам, чем другим.
Например, предположим, что алгоритм, определяющий право лилипута на получение кредита на покупку жилья, с большей вероятностью отнесёт его к категории «неподходящих», если его почтовый адрес содержит определённый почтовый индекс. Если лилипуты с тупым концом звёзд чаще имеют почтовый адрес с этим почтовым индексом, чем лилипуты с тупым концом звёзд, то этот алгоритм может привести к разным результатам.
Сравните с разнородным подходом , который фокусируется на различиях, возникающих, когда характеристики подгруппы являются явными входными данными для алгоритмического процесса принятия решений.
разрозненное лечение
Учет чувствительных характеристик субъектов в алгоритмическом процессе принятия решений таким образом, чтобы к разным подгруппам людей относились по-разному.
Например, рассмотрим алгоритм, который определяет право лилипутов на получение кредита на покупку жилья в миниатюрном доме на основе данных, предоставленных ими в заявке. Если алгоритм использует в качестве входных данных принадлежность лилипута к типу «туго-конечный» или «узко-конечный», он применяет разнородное отношение к этому параметру.
Сравните с неравномерным воздействием , которое фокусируется на различиях в социальных воздействиях алгоритмических решений на подгруппы, независимо от того, являются ли эти подгруппы входными данными для модели.
Э
равенство возможностей
Метрика справедливости, позволяющая оценить, одинаково ли хорошо модель предсказывает желаемый результат для всех значений чувствительного атрибута . Другими словами, если желаемым результатом модели является положительный класс , целью будет достижение одинаковой истинной положительной частоты для всех групп.
Равенство возможностей связано с уравниванием шансов , что требует, чтобы как истинно положительные показатели, так и ложноположительные показатели были одинаковыми для всех групп.
Предположим, что Университет Глаббдабдриб принимает как лилипутов, так и бробдингнегцев на сложную программу обучения математике. Средние школы лилипутов предлагают насыщенную программу занятий по математике, и подавляющее большинство учащихся имеют право поступить в университет. В средних школах бробдингнегцев математика вообще не преподаётся, и в результате гораздо меньше их учеников имеют право поступить. Равенство возможностей для предпочтительного статуса «зачислен» по национальности (лилипут или бробдингнегец) соблюдается, если учащиеся, соответствующие требованиям, имеют одинаковую вероятность быть зачисленными независимо от того, являются ли они лилипутами или бробдингнегцами.
Например, предположим, что 100 лилипутов и 100 бробдингнегцев подают заявления в университет Глаббдабдриб, и решения о приеме принимаются следующим образом:
Таблица 1. Кандидаты-лилипуты (90% имеют квалификацию)
| Квалифицированный | Неквалифицированный | |
|---|---|---|
| Допущенный | 45 | 3 |
| Отклоненный | 45 | 7 |
| Общий | 90 | 10 |
| Процент принятых квалифицированных студентов: 45/90 = 50% Процент отклоненных неквалифицированных студентов: 7/10 = 70% Общий процент принятых студентов-лилипутов: (45+3)/100 = 48% | ||
Таблица 2. Кандидаты из Бробдингнега (10% соответствуют требованиям):
| Квалифицированный | Неквалифицированный | |
|---|---|---|
| Допущенный | 5 | 9 |
| Отклоненный | 5 | 81 |
| Общий | 10 | 90 |
| Процент принятых квалифицированных студентов: 5/10 = 50% Процент отклоненных неквалифицированных студентов: 81/90 = 90% Общий процент принятых студентов Бробдингнега: (5+9)/100 = 14% | ||
Приведенные выше примеры подтверждают равенство возможностей для приема квалифицированных студентов, поскольку как квалифицированные лилипуты, так и бробдингнегцы имеют 50% шанс быть принятыми.
Хотя равенство возможностей соблюдается, следующие два показателя справедливости не соблюдаются:
- Демографический паритет : лилипуты и бробдингнегцы поступают в университет с разной частотой: из числа лилипутов поступает 48%, а из числа бробдингнегцев — только 14%.
- Уравненные шансы : хотя квалифицированные лилипуты и бробдингнегцы имеют равные шансы на поступление, дополнительное ограничение, согласно которому неквалифицированные лилипуты и бробдингнегцы имеют равные шансы на отчисление, не выполняется. У неквалифицированных лилипутов процент отчисления составляет 70%, тогда как у неквалифицированных бробдингнегцев — 90%.
Для получения дополнительной информации см. статью Справедливость: равенство возможностей в ускоренном курсе по машинному обучению.
уравняли шансы
Метрика справедливости, позволяющая оценить, одинаково ли хорошо модель предсказывает результаты для всех значений чувствительного атрибута как в положительном , так и в отрицательном классе , а не только в одном из них. Другими словами, как истинно положительные , так и ложноотрицательные результаты должны быть одинаковыми для всех групп.
Уравненные шансы связаны с равенством возможностей , которое фокусируется только на частоте ошибок для одного класса (положительного или отрицательного).
Например, предположим, что Университет Глаббдабдриб принимает как лилипутов, так и бробдингнегцев на сложную программу по математике. Средние школы лилипутов предлагают насыщенную программу по математике, и подавляющее большинство учащихся имеют право поступить в университет. В средних школах бробдингнегцев математика вообще не преподаётся, и, как следствие, гораздо меньше их учеников имеют право поступить. Уравнение шансов выполняется при условии, что независимо от того, является ли абитуриент лилипутом или бробдингнегцем, если он имеет право, он с равной вероятностью будет зачислен в программу, а если нет, то с равной вероятностью будет отчислен.
Предположим, что 100 лилипутов и 100 бробдингнегцев подают заявления в университет Глаббдабдриб, и решения о приеме принимаются следующим образом:
Таблица 3. Кандидаты-лилипуты (90% имеют квалификацию)
| Квалифицированный | Неквалифицированный | |
|---|---|---|
| Допущенный | 45 | 2 |
| Отклоненный | 45 | 8 |
| Общий | 90 | 10 |
| Процент принятых квалифицированных студентов: 45/90 = 50% Процент отклоненных неквалифицированных студентов: 8/10 = 80% Общий процент принятых студентов-лилипутов: (45+2)/100 = 47% | ||
Таблица 4. Кандидаты из Бробдингнега (10% соответствуют требованиям):
| Квалифицированный | Неквалифицированный | |
|---|---|---|
| Допущенный | 5 | 18 |
| Отклоненный | 5 | 72 |
| Общий | 10 | 90 |
| Процент принятых квалифицированных студентов: 5/10 = 50% Процент отклоненных неквалифицированных студентов: 72/90 = 80% Общий процент принятых студентов Бробдингнега: (5+18)/100 = 23% | ||
Уравнивание шансов выполняется, поскольку квалифицированные лилипуты и бробдингнегцы имеют 50% шанс быть принятыми, а неквалифицированные лилипуты и бробдингнегцы имеют 80% шанс быть отвергнутыми.
Выровненные шансы формально определены в «Равенстве возможностей в контролируемом обучении» следующим образом: «предиктор Ŷ удовлетворяет выровненным шансам относительно защищенного атрибута A и результата Y, если Ŷ и A независимы и зависят от Y».
предвзятость экспериментатора
См. подтверждение предвзятости .
Ф
ограничение справедливости
Применение ограничения к алгоритму для обеспечения соответствия одному или нескольким критериям справедливости. Примеры ограничений справедливости:- Постобработка результатов работы модели.
- Изменение функции потерь с целью включения штрафа за нарушение метрики справедливости .
- Прямое добавление математического ограничения к задаче оптимизации.
метрика справедливости
Математическое определение «справедливости», поддающееся измерению. Некоторые часто используемые показатели справедливости включают:
Многие показатели справедливости являются взаимоисключающими; см. несовместимость показателей справедливости .
Г
групповая атрибуция
Предполагая, что то, что верно для отдельного человека, верно и для всех в этой группе. Эффект групповой атрибуции может усугубиться, если для сбора данных используется удобная выборка . В нерепрезентативной выборке атрибуции могут не отражать реальность.
См. также смещение, связанное с однородностью внешней группы , и смещение, связанное с внутренней группой . См. также статью «Справедливость: типы смещений» в Crash Course по машинному обучению для получения дополнительной информации.
ЧАС
историческая предвзятость
Тип предубеждений , уже существующий в мире и проникший в набор данных. Эти предубеждения, как правило, отражают существующие культурные стереотипы, демографическое неравенство и предрассудки в отношении определённых социальных групп.
Например, рассмотрим модель классификации , которая предсказывает, допустит ли заёмщик дефолт по своему кредиту. Модель была обучена на исторических данных о дефолтах по кредитам за 1980-е годы, предоставленных местными банками в двух разных населённых пунктах. Если бы вероятность дефолта у заёмщиков из населённого пункта А была в шесть раз выше, чем у заёмщиков из населённого пункта Б, модель могла бы усвоить историческое смещение, что привело бы к снижению вероятности одобрения кредитов в населённом пункте А, даже если исторические условия, приведшие к более высокому уровню дефолтов в этом населённом пункте, больше не актуальны.
Для получения дополнительной информации см. раздел «Справедливость: типы предвзятости» в ускоренном курсе по машинному обучению.
я
неявная предвзятость
Автоматическое формирование ассоциаций или предположений на основе моделей мышления и воспоминаний. Неявная предвзятость может влиять на следующее:
- Как собираются и классифицируются данные.
- Как проектируются и разрабатываются системы машинного обучения.
Например, при построении модели классификации для идентификации свадебных фотографий инженер может использовать наличие белого платья на фотографии в качестве признака. Однако белые платья были приняты только в определённые эпохи и в определённых культурах.
См. также подтверждение предвзятости .
несовместимость показателей справедливости
Идея о том, что некоторые понятия справедливости несовместимы и не могут быть удовлетворены одновременно. В результате не существует единой универсальной метрики для количественной оценки справедливости, применимой ко всем задачам машинного обучения.
Хотя это может показаться обескураживающим, несовместимость метрик справедливости не означает, что усилия по обеспечению справедливости бесполезны. Напротив, это предполагает, что справедливость должна определяться в контексте конкретной проблемы машинного обучения с целью предотвращения вреда, характерного для конкретных вариантов её использования.
Более подробное обсуждение несовместимости показателей справедливости см. в разделе «О (не)возможности справедливости» .
индивидуальная справедливость
Метрика справедливости, которая проверяет, классифицируются ли похожие люди одинаково. Например, Бробдингнегская академия может стремиться к обеспечению индивидуальной справедливости, гарантируя, что два студента с одинаковыми оценками и результатами стандартизированных тестов будут иметь равные шансы на поступление.
Обратите внимание, что индивидуальная справедливость полностью зависит от того, как вы определяете «сходство» (в данном случае это оценки и результаты тестов), и вы рискуете столкнуться с новыми проблемами справедливости, если ваша метрика сходства не учитывает важную информацию (например, строгость учебной программы учащегося).
Более подробное обсуждение индивидуальной справедливости см. в статье «Справедливость через осознанность» .
предвзятость внутри группы
Проявление предвзятости по отношению к своей группе или собственным характеристикам. Если тестировщиками или оценщиками являются друзья, родственники или коллеги разработчика машинного обучения, то предвзятость внутри группы может сделать тестирование продукта или набора данных недействительным.
Предвзятость в отношении своей группы — это форма предвзятости групповой атрибуции . См. также предвзятость в отношении аутгрупповой однородности .
Для получения дополнительной информации см. раздел «Справедливость: типы предвзятости» в ускоренном курсе по машинному обучению.
Н
смещение из-за отсутствия ответа
См. смещение отбора .
О
смещение однородности аутгруппы
Склонность рассматривать членов аутгруппы как более схожих, чем членов ингруппы, при сравнении установок, ценностей, личностных черт и других характеристик. Термин «ингруппа» относится к людям, с которыми вы регулярно взаимодействуете; «аутгруппа» — к людям, с которыми вы не взаимодействуете регулярно. Если вы создаете набор данных, запрашивая у людей характеристики аутгрупп, эти характеристики могут быть менее детализированными и более стереотипными, чем характеристики, которые участники указывают для людей в своей ингруппе.
Например, лилипуты могут подробно описывать дома других лилипутов, отмечая небольшие различия в архитектурных стилях, окнах, дверях и размерах. Однако те же лилипуты могут просто заявить, что все бробдингнегцы живут в одинаковых домах.
Ошибка, связанная с однородностью аутгруппы, является формой ошибки групповой атрибуции .
См. также внутригрупповую предвзятость .
П
предвзятость участия
Синоним термина «систематическая ошибка, связанная с отсутствием ответа». См. систематическая ошибка, связанная с выбором .
постобработка
Корректировка выходных данных модели после её запуска. Постобработка может использоваться для обеспечения соблюдения ограничений справедливости без изменения самих моделей.
Например, можно применить постобработку к модели бинарной классификации , установив порог классификации таким образом, чтобы сохранялось равенство возможностей для некоторого атрибута путем проверки того, что истинно положительный показатель одинаков для всех значений этого атрибута.
предиктивная четность
Метрика справедливости , которая проверяет, являются ли показатели точности для рассматриваемых подгрупп эквивалентными для данной модели классификации .
Например, модель, прогнозирующая поступление в колледж, будет удовлетворять прогностическому критерию национальности, если ее уровень точности одинаков для лилипутов и жителей Бробдингнега.
Предсказуемая четность иногда также называется предсказательной скоростью четности .
Более подробное обсуждение предиктивного паритета см. в разделе «Разъяснение определений справедливости» (раздел 3.2.1).
прогнозируемая частота паритета
Другое название для предиктивной четности .
предварительная обработка
Обработка данных перед их использованием для обучения модели. Предварительная обработка может быть простой, например, удаление слов из корпуса английских текстов, которых нет в словаре, или сложной, например, переформулирование точек данных таким образом, чтобы исключить как можно больше атрибутов, коррелирующих с чувствительными атрибутами . Предварительная обработка может помочь удовлетворить ограничениям справедливости .прокси (конфиденциальные атрибуты)
Атрибут, используемый в качестве замены конфиденциального атрибута . Например, почтовый индекс человека может использоваться в качестве показателя его дохода, расы или этнической принадлежности.Р
предвзятость отчетности
Тот факт, что частота, с которой люди пишут о действиях, результатах или свойствах, не отражает их реальной частоты или степени, в которой свойство характерно для определённого класса людей. Предвзятость в сообщениях может влиять на состав данных, на которых обучаются системы машинного обучения.
Например, в книгах слово «смеялся» встречается чаще, чем «дышал» . Модель машинного обучения, оценивающая относительную частоту смеха и дыхания в корпусе книг, вероятно, определит, что смех встречается чаще, чем дыхание.
Для получения дополнительной информации см. раздел «Справедливость: типы предвзятости» в ускоренном курсе по машинному обучению.
С
смещение выборки
См. смещение выбора .
смещение отбора
Ошибки в выводах, сделанных на основе выборочных данных, из-за процесса отбора, который приводит к систематическим различиям между образцами, наблюдаемыми в данных, и теми, которые не наблюдались. Существуют следующие формы систематической ошибки отбора:
- смещение охвата : популяция, представленная в наборе данных, не соответствует популяции, о которой прогнозирует модель машинного обучения.
- систематическая ошибка выборки : данные из целевой группы собираются не случайным образом.
- предвзятость отсутствия ответов (также называемая предвзятостью участия ): пользователи из определенных групп отказываются от опросов с разной частотой, чем пользователи из других групп.
Например, предположим, что вы создаете модель машинного обучения, которая предсказывает удовольствие людей от фильма. Чтобы собрать данные обучения, вы раздаете опросник всем, кто находится в первом ряду кинотеатра, где показывают фильм. На первый взгляд это может показаться разумным способом сбора набора данных; однако эта форма сбора данных может привести к следующим формам систематической ошибки отбора:
- предвзятость охвата. При выборке из группы населения, которая решила посмотреть фильм, прогнозы вашей модели могут не распространяться на людей, которые еще не проявили такой уровень интереса к фильму.
- смещение выборки: вместо случайной выборки из предполагаемой совокупности (всех людей в фильме) вы выбрали только людей в первом ряду. Возможно, что люди, сидевшие в первом ряду, заинтересовались фильмом больше, чем те, кто сидел в других рядах.
- предвзятость в связи с отсутствием ответов. В целом, люди с сильными мнениями склонны отвечать на дополнительные опросы чаще, чем люди с умеренными мнениями. Поскольку опрос по фильму не является обязательным, ответы с большей вероятностью образуют бимодальное распределение, чем нормальное (колокольчатое) распределение.
чувствительный атрибут
Человеческий атрибут, которому можно уделять особое внимание по юридическим, этическим, социальным или личным причинам.У
неосведомленность (к чувствительному атрибуту)
Ситуация, в которой конфиденциальные атрибуты присутствуют, но не включены в обучающие данные. Поскольку конфиденциальные атрибуты часто коррелируют с другими атрибутами данных, модель, обученная без знания конфиденциального атрибута, все равно может оказывать несопоставимое влияние на этот атрибут или нарушать другие ограничения справедливости .