Один из методов, который мы можем использовать для оценки справедливости прогнозов нашей модели, — это сравнить уровень приема для группы большинства и группы меньшинства. Если два показателя приема равны, то прогнозы модели демонстрируют демографический паритет : шансы студента на поступление в университет не различаются в зависимости от демографической группы.
Предположим, модель приема принимает 16 кандидатов из группы большинства и 4 кандидатов из группы меньшинства. Решения модели удовлетворяют демографическому паритету, поскольку уровень принятия кандидатов как от большинства, так и от меньшинства составляет 20%.
![Резерв кандидатов разделен на две группы: отклоненные кандидаты (64 синих студента, 16 оранжевых студентов) и принятые кандидаты (16 синих студентов, 4 оранжевых студента).](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_demographic_parity.png?authuser=8&hl=ru)
В следующей таблице приведены количественные данные в поддержку отклоненных и принятых кандидатов на рисунке 2.
Группа большинства | Группа меньшинств | |
---|---|---|
Принял | 16 | 4 |
Отклоненный | 64 | 16 |
Скорость принятия | 20% | 20% |
Упражнение: проверьте свою интуицию
Приемная комиссия университета рассматривает возможность использования демографического паритета в качестве показателя оценки справедливости своей модели и нуждается в вашем руководстве относительно преимуществ и недостатков этого подхода. Можете ли вы назвать плюсы и минусы оценки прогнозов модели с использованием демографического паритета?
Продолжите читать следующий раздел « Преимущества и недостатки» , где мы кратко рассмотрим основные плюсы и минусы использования демографического паритета.
Преимущества и недостатки
Ключевое преимущество демографического паритета в нашем примере с приемом состоит в том, что он гарантирует, что группы большинства и меньшинства представлены в поступающем классе студентов в тех же пропорциях, что и в пуле кандидатов. То есть, если пул абитуриентов состоит из 80% кандидатов из групп большинства и 20% кандидатов из групп меньшинств, демографический паритет гарантирует, что группа поступающих также будет состоять из 80% студентов из групп большинства и 20% из студентов из групп меньшинств.
Однако у демографического паритета есть один существенный недостаток: он не учитывает распределение прогнозов для каждой демографической группы (количество студентов, классифицированных как «квалифицированные» и «неквалифицированные») при оценке того, как следует распределить 20 мест для приема.
Давайте еще раз посмотрим на состав нашего пула кандидатов сверху. Однако на этот раз мы будем классифицировать кандидатов не только по демографическим группам, но и по тому, оценила ли модель каждого кандидата как «квалифицированного» или «неквалифицированного»:
![Та же разбивка отклоненных и принятых кандидатов, что и на предыдущем изображении, но на этот раз 50 студентов, которые действительно соответствуют требованиям (35 синих студентов, 15 оранжевых студентов), заштрихованы зеленым, а подгруппа квалифицированных студентов, которые были отклонены (19 синие студенты, 11 оранжевых студентов) отмечены знаком X.](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_demographic_parity_by_qualifications.png?authuser=8&hl=ru)
В следующей таблице приведены количественные данные в поддержку отклоненных и принятых кандидатов на рисунке 3.
Группа большинства | Группа меньшинств | |||
---|---|---|---|---|
Принял | Отклоненный | Принял | Отклоненный | |
Квалифицированный | 16 | 19 | 4 | 11 |
Неквалифицированный | 0 | 45 | 0 | 5 |
Давайте сведем в таблицу показатели приема квалифицированных студентов для обеих групп:
Несмотря на то, что обе группы имеют общий уровень приема 20%, что соответствует демографическому паритету, уровень приема квалифицированных студентов из большинства составляет 46%, тогда как уровень приема квалифицированных студентов из числа меньшинств составляет только 27%.
В подобных случаях, когда распределение предпочтительного ярлыка (например, «квалифицированный») сильно различается для обеих групп, демографический паритет может не быть оптимальным показателем для оценки справедливости. В следующем разделе мы рассмотрим альтернативный показатель справедливости — равенство возможностей, который учитывает эти различия.