У попередньому розділі ми оцінювали об’єктивність нашої моделі вступу, використовуючи показник демографічної рівності й порівнюючи загальні коефіцієнти прийняття для обох груп населення.
Як варіант, можна порівняти коефіцієнти прийняття лише для кваліфікованих кандидатів із групи більшості й групи меншості. Якщо коефіцієнти прийняття для кваліфікованих студентів з обох груп рівні, модель свідчить про рівність можливостей, тобто студенти з бажаною міткою ("кваліфікований для вступу") мають рівні шанси бути прийнятими, хоч до якої групи населення вони належать.
Повернімося до пулу кандидатів із попереднього розділу.
| Група більшості | Група меншості | |
|---|---|---|
| Кваліфіковані | 35 | 15 |
| Некваліфіковані | 45 | 5 |
Припустімо, що модель вступу приймає 14 кандидатів із групи більшості й 6 із групи меншості. Рішення моделі відповідають принципу рівності можливостей, оскільки коефіцієнт прийняття кваліфікованих кандидатів із групи як більшості, так і меншості становить 40%.
У таблиці, наведеній нижче, указано кількість відхилених і прийнятих кандидатів із рисунка 4.
| Група більшості | Група меншості | |||
|---|---|---|---|---|
| Прийняті | Відхилені | Прийняті | Відхилені | |
| Кваліфіковані | 14 | 21 | 6 | 9 |
| Некваліфіковані | 0 | 45 | 0 | 5 |
Переваги й недоліки
Ключова перевага принципу рівності можливостей полягає в тому, що це дає змогу змінювати співвідношення позитивних і негативних прогнозів у моделі для груп населення за умови, що вона однаково успішно прогнозує бажану мітку ("кваліфікований для вступу") для обох.
Прогнози моделі, показані на рисунку 4, не відповідають вимогам до демографічної рівності, оскільки шанс бути прийнятим студента з групи більшості становить 17,5%, а студента з групи – 30%. Проте шанс бути прийнятим кваліфікованого студента становить 40% незалежно від того, до якої групи він належить, і це, мабуть, об’єктивніший результат для такого сценарію застосування моделі.
Одним із недоліків принципу рівності можливостей є те, що його розроблено для сценаріїв із чіткою бажаною міткою. Якщо однаково важливо, щоб модель передбачала як позитивний клас ("кваліфікований для вступу"), так і негативний ("не кваліфікований для вступу") для всіх груп населення, можливо, замість цього принципу доцільно використовувати показник зрівняних шансів, який забезпечує однакову кількість прогнозів для обох міток.
Іншим недоліком принципу рівності можливостей є те, що він оцінює об’єктивність, порівнюючи коефіцієнти помилок у сукупності для груп населення, що не завжди можливо. Наприклад, якби набір даних нашої моделі вступу не мав ознаки demographic_group, було б неможливо розподілити прогнози прийняття кваліфікованих кандидатів на групи більшості й меншості та порівняти їх, щоб побачити, чи дотримано принципу рівності можливостей.
У наступному розділі ми розглянемо інший показник об’єктивності – контрфактичну об’єктивність. Його можна використовувати, якщо демографічні дані наведено не для всіх прикладів.
Вправа. Перевірте свої знання
Прогнози моделі цілком можуть одночасно відповідати вимогам як демографічної рівності, так і рівності можливостей.
Уявіть, що двійковий класифікатор (бажана мітка якого – позитивний клас) оцінюють на 100 прикладах, а результати, розподілені за групами населення (більшості й меншості) відображаються в матрицях помилок, наведених нижче.
| Група більшості | Група меншості | |||
|---|---|---|---|---|
| Прогнозний позитивний клас | Прогнозний негативний клас | Прогнозний позитивний клас | Прогнозний негативний клас | |
| Фактичний позитивний клас | 6 | 12 | 3 | 6 |
| Фактичний негативний клас | 10 | 36 | 6 | 21 |
|
\(\text{Positive Rate} = \frac{6+10}{6+10+12+36} = \frac{16}{64} = \text{25%}\) \(\text{True Positive Rate} = \frac{6}{6+12} = \frac{6}{18} = \text{33%}\) |
\(\text{Positive Rate} = \frac{3+6}{3+6+6+21} = \frac{9}{36} = \text{25%}\) \(\text{True Positive Rate} = \frac{3}{3+6} = \frac{3}{9} = \text{33%}\) |
|||
Кількість позитивних прогнозів як групи більшості, так і групи меншості становить 25%, що відповідає принципу демографічної рівності; а кількість істиннопозитивних результатів (відсоток прикладів із бажаною міткою, які класифіковано правильно) дорівнює 33%, що відповідає принципу рівності можливостей.