Об’єктивність: контрфактична об’єктивність

Досі, розглядаючи показники об’єктивності, ми припускали, що навчальні й тестові приклади містять вичерпні демографічні дані для підгруп населення, які оцінюються. Але часто це не так.

Припустімо, що набір даних моделі вступу не містить усіх демографічних даних. Натомість приналежність до групи населення реєструється лише для невеликого відсотка прикладів (зокрема студентів, які вирішили самостійно зазначити, до якої групи вони належать). У цьому разі розподіл пулу кандидатів на прийнятих і відхилених студентів виглядає так:

Пул кандидатів зі 100 студентів, розділених на дві групи: відхилені кандидати (80 значків) і прийняті (20 значків). Усі значки, крім шести, зафарбовані сірим кольором (це означає, що відповідна група населення невідома). У групі "Відхилені" два значки студентів зафарбовано синім кольором і ще два – помаранчевим. У групі "Прийняті" один значок студента зафарбовано синім кольором і ще один – помаранчевим.
Рисунок 5. Пул кандидатів, чия приналежність до групи населення невідома майже для всіх кандидатів (значки зафарбовано сірим кольором).

У такому разі неможливо оцінити, наскільки прогнози моделі відповідають принципам демографічної рівності чи рівності можливостей, оскільки немає демографічних даних для 94% прикладів. Однак для 6% прикладів, які містять демографічні ознаки, можна порівняти пари окремих прогнозів (кандидат від більшості проти кандидата від меншості) і побачити, чи модель розглядала їх об’єктивно.

Припустімо, що ми ретельно переглянули дані ознак, доступні для двох кандидатів (одного з групи більшості й одного з групи меншості, які позначено зірочкою на зображенні нижче), і виявили, що вони мають однакове право бути прийнятими, як не поглянути. Якщо модель робить однаковий прогноз для обох цих кандидатів (тобто або відхиляє, або приймає їх обох), вважається, що її результати для цих прикладів відповідають вимозі контрфактичної об’єктивності. Контрфактична об’єктивність передбачає, що для двох прикладів, які є ідентичними, як не поглянути, за винятком певного чутливого атрибута (у нашому прикладі це приналежність до певної групи населення), модель має дати однаковий прогноз.

Той самий пул кандидатів, що й на попередньому зображенні, за винятком того, що в цій версії в групі "Відхилені" один синій значок студента (приналежність до групи більшості) і один помаранчевий (приналежність до групи меншості) позначено зірочкою. Це вказує на те, що два кандидати ідентичні (якщо не зважати на групу населення).
Рисунок 6. Принцип контрфактичної об’єктивності виконується для двох ідентичних прикладів (вони відрізняються лише приналежністю до групи населення), позначених зірочкою, оскільки модель приймає однакове рішення для обох ("Відхилені").

Переваги й недоліки

Як згадувалося раніше, однією з ключових переваг контрфактичної об’єктивності є те, що її часто можна використовувати для оцінювання прогнозів на об’єктивність тоді, коли застосувати інші показники неможливо. Якщо в наборі даних немає всіх значень ознак для відповідних групових атрибутів, що розглядаються, неможливо буде оцінити об’єктивність, використовуючи показники демографічної рівності або рівності можливостей. Однак якщо ці групові атрибути доступні для підмножини прикладів і можна ідентифікувати порівнювані пари еквівалентних прикладів у різних групах, спеціалісти можуть використовувати контрфактичну об’єктивність як показник для перевірки моделі на наявність потенційних упередженостей у прогнозах.

Крім того, оскільки такі показники, як демографічна рівність і рівність можливостей, оцінюють групи в сукупності, вони можуть маскувати проблеми упередженості, що впливають на модель на рівні окремих прогнозів. Їх можна виявити, використовуючи для оцінювання контрфактичну об’єктивність. Припустімо, що наша модель вступу приймає кваліфікованих кандидатів із груп більшості й меншості в однаковій пропорції. Проте вона відхилила найкваліфікованішого кандидата з групи меншості, а найкращого студента з групи більшості, ідентичного за кваліфікацією, прийняла. Подібні розбіжності можна виявити шляхом аналізу контрфактичної об’єктивності, щоб потім вирішити.

З іншого боку, основним недоліком контрфактичної об’єктивності є те, що вона не дає настільки цілісного уявлення про упередженість у прогнозах моделі, як інші показники. Іноді недостатньо виявити й усунути кілька нерівностей у парах прикладів, щоб вирішити системні проблеми упередженості, які впливають на цілі підгрупи прикладів.

Якщо можливо провести як сукупний (використовуючи такий показник, як демографічна рівність або рівність можливостей), так і контрфактичний аналіз об’єктивності, спеціалістам-практикам слід розглянути цей варіант, адже так вони отримають якнайбільше даних про потенційні проблеми упередженості, що потребують виправлення.

Вправа. Перевірте свої знання

Рисунок до вправи. Дві групи кругів: негативні й позитивні прогнози.
             Група негативних прогнозів складається з 50 кругів, з яких 39 – сірі, 8 – сині й 3 – помаранчеві. Один синій і один помаранчевий круг позначено буквою A; ще один синій – літерою C. 
             Група позитивних прогнозів складається з 15 кругів, з яких 10 – сірі, 3 – сині й 2 – помаранчеві. Один синій і один помаранчевий круг позначено буквою B; ще один синій – літерою C.
             У поясненні умовних позначень під діаграмою зазначено, що сині круги – приклади з групи більшості, помаранчеві – з групи меншості, а приналежність до певної групи сірих кругів невідома.
Рисунок 7. Негативні й позитивні прогнози для групи прикладів, з яких три пари позначено буквами A, B й C.

Розгляньте ряд прогнозів, показаних на рисунку 7 вище. Прогнози якої з пар ідентичних (за винятком приналежності до групи) прикладів, наведених нижче, порушують принцип контрфактичної об’єктивності?

Пара A
Прогнози для пари А відповідають принципу контрфактичної об’єктивності, оскільки як для прикладу з групи більшості (синього), так і для прикладу з групи меншості (помаранчевого) модель дала однаковий прогноз ("Негативний").
Пара B
Прогнози для пари B відповідають принципу контрфактичної об’єктивності, оскільки як для прикладу з групи більшості (синього), так і для прикладу з групи меншості (помаранчевого) модель дала однаковий прогноз ("Позитивний").
Пара C
Обидва приклади з пари C належать до групи більшості (сині). Проте модель дала різні прогнози для цих ідентичних прикладів, що свідчить про ширші проблеми з ефективністю, які слід дослідити. Однак цей результат не порушує принцип контрфактичної об’єктивності, умови якого застосовуються лише тоді, коли два ідентичні приклади беруться з різних груп.
Усі ці пари не порушують принцип контрфактичної об’єктивності
Прогнози для пар A і B відповідають принципу контрфактичної об’єктивності, оскільки в обох випадках прогноз для прикладів був однаковий незалежно від приналежності до групи. Приклади з пари C належать до однієї групи (більшості), тому принцип контрфактичної об’єктивності в цьому випадку не застосовується.

Підсумок

Демографічна рівність, рівність можливостей і контрфактична об’єктивність мають різні математичні визначення об’єктивності для прогнозів моделі. І це лише три способи кількісної оцінки об’єктивності. Деякі визначення об’єктивності є навіть взаємно несумісними, тобто прогнози однієї моделі не можуть відповідати їм одночасно.

Тож як вибрати "правильний" показник об’єктивності для моделі? Потрібно враховувати контекст, у якому вона використовується, і головні цілі, яких ви хочете досягти. Наприклад, якщо потрібно досягти однакової кількості представників різних груп населення, оптимальним показником може бути демографічна рівність; а якщо ви хочете надавати однакові можливості, найвідповіднішим показником, імовірно, є рівність можливостей.

Щоб дізнатися більше про об’єктивність у машинному навчанні й глибше дослідити ці питання, прочитайте книгу Fairness and Machine Learning: Limitations and Opportunities (Об’єктивність і машинне навчання: обмеження й можливості), яку написали Солон Барокас, Моріц Хардт і Арвінд Нараянан.