حتى الآن، افترضت مناقشاتنا حول مقاييس الإنصاف أن تدريبنا وتشمل أمثلة الاختبار بيانات ديموغرافية شاملة المجموعات الفرعية التي يتم تقييمها. ولكن هذا لا يحدث غالبًا.
افترض أن مجموعة بيانات القبول لدينا لا تحتوي على بيانات ديموغرافية كاملة. وبدلاً من ذلك، يتم تسجيل عضوية المجموعات الديمغرافية لنسبة صغيرة فقط من الأمثلة، مثل الطلاب الذين اختاروا تحديد المجموعة التي ينتمي إليه. في هذه الحالة، تم تقسيم مجموعة المرشحين حسب والطلاب المرفوضين يبدو الآن كما يلي:
ليس من المجدي هنا تقييم توقعات نموذجية لأي فئة ديمغرافية التكافؤ أو تكافؤ الفرص، لأننا لا نمتلك بيانات ديموغرافية على 94% من أمثلتنا. ومع ذلك، بالنسبة إلى% 6 من الأمثلة التي تحتوي على الخصائص الديموغرافية، فلا يزال بإمكاننا مقارنة أزواج من التنبؤات الفردية (مرشح أغلبية مقابل مرشح من أقلية) ومعرفة ما إذا كان بإنصاف من خلال النموذج.
على سبيل المثال، لنفترض أننا راجعنا بيانات الميزة بدقة متاح لاثنين من المرشحين (أحدهما في مجموعة الأغلبية والآخر في الأقلية المجموعة، مضاف إليها تعليقات بنجمة في الصورة أدناه)، وقرروا أنهم مؤهلين للقبول من جميع الجوانب. إذا كان النموذج يقدم نفس التوقع لكلا هذين المرشحين (أي إما أن يرفض كلاهما المرشحين أو قبول كلا المرشحين)، يُقال إنّه يلبّي والإنصاف لهذه الأمثلة. ينص الإنصاف المضاد على أن اثنين الأمثلة المتطابقة في جميع الجوانب، باستثناء سمة حساسة معيّنة (هنا، عضوية المجموعة الديموغرافية)، ينبغي أن ينتج عنها نفس النموذج التنبؤ.
المزايا والعيوب
كما ذكرنا سابقًا، تتمثل إحدى الفوائد الرئيسية للإنصاف المغاير في أنه ويمكن استخدامها لتقييم توقعات الإنصاف في العديد من الحالات حيث يكون استخدام مقاييس أخرى لن تكون مجدية. إذا كانت مجموعة البيانات لا تحتوي على مجموعة كاملة من الخاصة بسمات المجموعة ذات الصلة قيد النظر، فلن يكون من الممكن تقييم الإنصاف باستخدام التكافؤ الديموغرافي أو مساواة الأخرى. في المقابل، إذا كانت سمات المجموعات هذه متوفّرة لمجموعة فرعية من الأمثلة، ومن الممكن تحديد الأزواج المتماثلة الأمثلة في مجموعات مختلفة، يمكن للممارسين استخدام الإنصاف المغاير كمقياس لفحص النموذج الخاص بالتحيزات المحتملة في التنبؤات.
بالإضافة إلى ذلك، نظرًا لأن مقاييس مثل التكافؤ الديموغرافي والمساواة في تقييم الفرص للمجموعات بشكل عام، فقد تخفي مشكلات التحيز التي تؤثر النموذج على مستوى التنبؤات الفردية، والذي يمكن إظهاره من خلال للتقييم باستخدام الإنصاف المغاير. على سبيل المثال، لنفترض أن رسوم الدخول لدينا المرشحين المؤهلين من مجموعة الأغلبية والأقلية بالنسبة نفسها، ولكن يُعد مرشح الأقلية الأكثر أهلية بينما يرفض مرشح الأغلبية الأكثر أهلية والذي حصل على بيانات الاعتماد مقبولة. يمكن أن يساعد تحليل الإنصاف المغاير في تحديد هذه الأنواع من التناقضات حتى يمكن معالجتها.
على الجانب الآخر، يتمثل الجانب السلبي الرئيسي للإنصاف المغاير في أنه لا نظرة شاملة على التحيز في تنبؤات النماذج. يمكن أن يساعد تحديد قد لا يكون معالجة عدد قليل من أوجه عدم الإنصاف في أزواج من الأمثلة كافيًا لمعالجة مشكلات التحيز المنهجي التي تؤثر على مجموعات فرعية كاملة من الأمثلة.
وفي الحالات التي يكون ذلك ممكنًا فيها، يمكن للممارسين التفكير في إجراء كلا التجميعين. تحليل الإنصاف (باستخدام مقياس مثل التكافؤ الديموغرافي أو الفرصة) بالإضافة إلى تحليل الإنصاف المغاير لاكتساب أوسع نطاق مجموعة من الإحصاءات حول مشكلات التحيز المحتملة التي تحتاج إلى إصلاح.
تمرين: التحقق من فهمك
في مجموعة التنبؤات في الشكل 7 أعلاه، أي من الأزواج التالية المتماثلة (باستثناء عضوية المجموعة) الأمثلة التي تلقت توقعات تنتهك الإنصاف المغاير؟
ملخّص
التماثل الديموغرافي، وتكافؤ الفرص والإنصاف المغاير، يقدم كل منهما تعريفات رياضية مختلفة والإنصاف في تنبؤات النماذج. وهذه ثلاثة طرق وطرق قياس الإنصاف. حتى أن بعض تعريفات الإنصاف متبادلة غير متوافقة، بمعنى أنه قد يكون من المستحيل تلبيتها في الوقت نفسه تنبؤات النموذج المعطاة.
إذن كيف تختار "الأنسب" مقياس الإنصاف لنموذجك؟ عليك إجراء ما يلي: ضع في اعتبارك السياق الذي يتم استخدامه فيه والأهداف الرئيسية التي نريد تحقيقه. على سبيل المثال، هل الهدف تحقيق التمثيل المتساوي (في هذه الحالة، قد يكون التكافؤ الديموغرافي هو المقياس الأمثل) أم أنه تحقيق تكافؤ الفرص (هنا، قد تكون تكافؤ الفرص هو الأفضل المقياس)؟
لمعرفة المزيد من المعلومات عن مبدأ العدالة في تعلُّم الآلة واستكشاف هذه المشاكل بمزيد من التفصيل، يُرجى الاطّلاع على الإنصاف وتعلُّم الآلة: القيود والفرص بقلم "سولون باروكاس" و"موريتز هارت" و"أرفيند نارايانان".