Об’єктивність: демографічна рівність

Один із методів, який допоможе оцінити прогнози моделі на предмет об’єктивності, – це порівняння коефіцієнта вступу для групи більшості й групи меншості. Якщо обидва коефіцієнти вступу рівні, тоді прогнози моделі свідчать про демографічну рівність, тобто шанс студента бути прийнятим в університет не залежить від групи населення.

Припустімо, що модель вступу приймає 16 кандидатів із групи більшості й 4 з групи меншості. Рішення моделі відповідають принципу демографічної рівності, оскільки коефіцієнт прийняття кандидатів із групи як більшості, так і меншості становить 20%.

Пул кандидатів, розділений на дві групи: "Відхилені" (64 синіх й 16 помаранчевих студентів) і "Прийняті" (16 синіх і 4 помаранчевих студенти).
Рисунок 2. Пул кандидатів, розділений на дві групи: "Відхилені" й "Прийняті". І група більшості (синя), і група меншості (помаранчева) мають коефіцієнт прийняття 20%.

У таблиці, наведеній нижче, указано кількість відхилених і прийнятих кандидатів із рисунка 2.

Група більшості Група меншості
Прийняті 16 4
Відхилені 64 16
Коефіцієнт прийняття 20% 20%

Вправа. Перевірте свою інтуїцію

Приймальна комісія університету вирішує, чи використовувати демографічну рівність як показник оцінювання об’єктивності для своєї моделі. Їй потрібні ваші поради щодо переваг і недоліків цього підходу. Визначте одну перевагу й один недолік оцінювання прогнозів моделі за допомогою показника демографічної рівності.

Чи є в даних ознак, на вашу думку, якісь проблеми?
Натисніть тут, щоб переглянути наші відповіді

Переваги й недоліки

Основна перевага принципу демографічної рівності для нашого прикладу про вступ полягає в тому, що він гарантує, що групи більшості й меншості буде представлено в класі прийнятих студентів у тій же пропорції, що й у пулі кандидатів. Тобто якщо 80% кандидатів із пулу абітурієнтів належать до групи більшості й 20% – до групи меншості, принцип демографічної рівності гарантує, що в групі вступників також буде 80% студентів із групи більшості й 20% із групи меншості.

Проте принцип демографічної рівності має один суттєвий недолік: він не враховує розподіл прогнозів для кожної групи населення (кількість студентів, класифікованих як кваліфіковані, як порівняти з некваліфікованими), коли оцінює того, як слід розподілити 20 місць для вступників.

Повернімося до складу нашого пулу кандидатів. Однак цього разу ми класифікуватимемо кандидатів не лише за групою населення, а й за тим, яку оцінку модель дала кожному кандидату: "кваліфікований" чи "некваліфікований".

Такий самий розподіл відхилених і прийнятих кандидатів, як на попередньому зображенні, але цього разу 50 студентів, які фактично кваліфіковані (35 синіх і 15 помаранчевих), позначено зеленим кольором, а підмножину кваліфікованих студентів, яких було відхилено (19 синіх і 11 помаранчевих), – знаком X.
Рисунок 3. Такий самий розподіл відхилених і прийнятих кандидатів, як на рисунку 2, але цього разу всіх кваліфікованих студентів із груп як більшості, так і меншості позначено зеленим кольором, а кваліфікованих студентів, яких було відхилено, – знаком X. З 35 кваліфікованих студентів групи більшості прийнято 16. З 15 кваліфікованих студентів групи меншості прийнято 4.

У таблиці, наведеній нижче, указано кількість відхилених і прийнятих кандидатів із рисунка 3.

Група більшості Група меншості
Прийняті Відхилені Прийняті Відхилені
Кваліфіковані 16 19 4 11
Некваліфіковані 0 45 0 5

Тепер підрахуймо коефіцієнти прийняття кваліфікованих студентів для обох груп.

$$\text{Majority acceptance rate} = \frac{\text{qualified majority students accepted}}{\text{total qualified majority students}} = \frac{16}{35} = \text{46%}$$
$$\text{Minority acceptance rate} = \frac{\text{qualified minority students accepted}}{\text{total qualified minority students}} = \frac{4}{15} = \text{27%}$$

Попри те, що обидві групи мають загальний коефіцієнт прийняття 20%, що відповідає принципу демографічної рівності, коефіцієнт прийняття для кваліфікованих студентів із групи більшості становить 46%, а для кваліфікованих студентів із групи меншості – лише 27%.

Якщо розподіл значень важливої мітки (наприклад, такої як "кваліфікований") суттєво відрізняється для обох груп, принцип демографічної рівності може не бути оптимальним для оцінки об’єктивності. У наступному розділі ми розглянемо інший показник об’єктивності, рівність можливостей, який враховує ці відмінності.