В предыдущем разделе мы оценили справедливость нашей модели приема, используя демографический паритет, сравнив общие показатели приема для обеих демографических групп.
В качестве альтернативы мы могли бы сравнить показатели приема только квалифицированных кандидатов из группы большинства и группы меньшинства. Если показатели приема квалифицированных студентов в обеих группах равны, модель демонстрирует равенство возможностей : студенты с нашим предпочтительным ярлыком («имеющие право на поступление») имеют равные шансы на поступление, независимо от того, к какой демографической группе они принадлежат.
Давайте вернемся к нашему пулу кандидатов из предыдущего раздела:
| Группа большинства | Группа меньшинств | |
|---|---|---|
| Квалифицированный | 35 | 15 |
| Неквалифицированный | 45 | 5 |
Предположим, что модель приема принимает 14 кандидатов из группы большинства и 6 кандидатов из группы меньшинства. Решения модели удовлетворяют равенству возможностей, поскольку уровень принятия кандидатов как квалифицированного большинства, так и квалифицированного меньшинства составляет 40%.
В следующей таблице приведены количественные данные в поддержку отклоненных и принятых кандидатов на рисунке 4.
| Группа большинства | Группа меньшинств | |||
|---|---|---|---|---|
| Принял | Отклоненный | Принял | Отклоненный | |
| Квалифицированный | 14 | 21 | 6 | 9 |
| Неквалифицированный | 0 | 45 | 0 | 5 |
Преимущества и недостатки
Ключевое преимущество равенства возможностей заключается в том, что оно позволяет варьировать соотношение положительных и отрицательных прогнозов модели в зависимости от демографических групп при условии, что модель одинаково успешно прогнозирует предпочтительный ярлык («имеет право на поступление») для обеих групп.
Прогнозы модели на рисунке 4 не удовлетворяют демографическому паритету, поскольку вероятность поступления учащегося из группы большинства составляет 17,5%, а для учащегося из группы меньшинства — 30%. Однако вероятность того, что квалифицированный студент будет принят, составляет 40%, независимо от того, к какой группе он принадлежит, что, возможно, является более справедливым результатом в данном конкретном случае использования модели.
Одним из недостатков равенства возможностей является то, что оно предназначено для случаев использования, где существует четко выраженный предпочтительный ярлык. Если одинаково важно, чтобы модель прогнозировала как положительный класс («имеет право на поступление»), так и отрицательный класс («не имеет права на поступление») для всех демографических групп, возможно, имеет смысл вместо этого использовать метрику «уравненные шансы », которая обеспечивает равные шансы. показатели успеха для обоих лейблов.
Еще одним недостатком равенства возможностей является то, что оно оценивает справедливость путем сравнения коэффициентов ошибок в совокупности для демографических групп, что не всегда осуществимо. Например, если бы в наборе данных нашей модели приема не было функции demographic_group , было бы невозможно определить показатели приема квалифицированных кандидатов большинства и меньшинства и сравнить их, чтобы увидеть, соблюдается ли равенство возможностей.
В следующем разделе мы рассмотрим еще один показатель справедливости — контрфактическую справедливость, которую можно использовать в сценариях, где демографические данные не существуют для всех примеров.
Упражнение: Проверьте свое понимание.
Прогнозы модели могут удовлетворять как демографическому паритету, так и равенству возможностей.
Например, предположим, что бинарный классификатор (чьей предпочтительной меткой является положительный класс) оценивается на 100 примерах, а результаты показаны в следующих матрицах путаницы, разбитых по демографическим группам (большинство и меньшинство):
| Группа большинства | Группа меньшинств | |||
|---|---|---|---|---|
| Прогнозируемый положительный | Прогнозируемый отрицательный | Прогнозируемый положительный | Прогнозируемый отрицательный | |
| Фактический позитив | 6 | 12 | 3 | 6 |
| Фактический отрицательный | 10 | 36 | 6 | 21 |
\(\text{Positive Rate} = \frac{6+10}{6+10+12+36} = \frac{16}{64} = \text{25%}\) \(\text{True Positive Rate} = \frac{6}{6+12} = \frac{6}{18} = \text{33%}\) | \(\text{Positive Rate} = \frac{3+6}{3+6+6+21} = \frac{9}{36} = \text{25%}\) \(\text{True Positive Rate} = \frac{3}{3+6} = \frac{3}{9} = \text{33%}\) | |||
Как большинство, так и меньшинство имеют коэффициент положительного прогнозирования 25%, что соответствует демографическому паритету, и истинно положительный уровень (процент примеров с предпочтительным ярлыком, которые правильно классифицированы) 33%, что соответствует равенству возможностей.