Как только в данных обучения будет определен источник систематической ошибки , мы можем предпринять активные шаги для смягчения его последствий. Существует две основные стратегии, которые инженеры машинного обучения (ML) обычно используют для устранения предвзятости:
- Дополнение обучающих данных.
- Настройка функции потерь модели.
Дополнение обучающих данных
Если аудит обучающих данных выявил проблемы с отсутствующими, неверными или искаженными данными, наиболее простым способом решения проблемы часто является сбор дополнительных данных.
Однако, хотя увеличение обучающих данных может быть идеальным, недостатком этого подхода является то, что он также может быть неосуществимым либо из-за нехватки доступных данных, либо из-за ограничений ресурсов, которые затрудняют сбор данных. Например, сбор большего количества данных может быть слишком дорогостоящим или трудоемким или нецелесообразным из-за юридических ограничений/ограничений конфиденциальности.
Настройка функции оптимизации модели
В тех случаях, когда сбор дополнительных обучающих данных нецелесообразен, другой подход к уменьшению систематической ошибки заключается в корректировке способа расчета потерь во время обучения модели. Обычно мы используем функцию оптимизации, такую как потеря журнала, чтобы наказать неправильные прогнозы модели. Однако потеря журнала не учитывает членство в подгруппе. Таким образом, вместо использования потери журнала мы можем выбрать функцию оптимизации, предназначенную для наказания за ошибки с учетом справедливости, которая нейтрализует дисбалансы, которые мы выявили в наших обучающих данных.
Библиотека исправления моделей TensorFlow предоставляет утилиты для применения двух различных методов уменьшения смещения во время обучения модели:
MinDiff : Цель MinDiff — сбалансировать ошибки для двух разных фрагментов данных (студенты мужского и женского пола по сравнению с небинарными учащимися) путем добавления штрафа за различия в распределениях прогнозов для двух групп.
Контрфактическое логит-сопряжение : Контрфактическое логит-сопряжение (CLP) направлено на то, чтобы гарантировать, что изменение чувствительного атрибута данного примера не меняет прогноз модели для этого примера. Например, если набор обучающих данных содержит два примера, значения признаков которых идентичны, за исключением того, что у одного значение
gender—male, а у другого —nonbinaryзначениеgender, CLP добавит штраф, если прогнозы для этих двух примеров различаются.
Методы, которые вы выбираете для настройки функции оптимизации, зависят от вариантов использования модели. В следующем разделе мы более подробно рассмотрим, как подойти к задаче оценки справедливости модели, рассмотрев эти варианты использования.