วิธีการหนึ่งที่เราใช้ประเมินการคาดคะเนของโมเดลเพื่อความเป็นธรรมก็คือ เปรียบเทียบอัตราการรับนักศึกษาของกลุ่มคนส่วนใหญ่กับชนกลุ่มน้อย หากอัตราการสมัครทั้ง 2 อัตราเท่ากัน การคาดคะเนของโมเดลจะแสดง ความเท่าเทียมกันของประชากร: โอกาสที่นักเรียนจะเข้ามหาวิทยาลัยไม่ได้แตกต่างกัน กลุ่มผู้เข้าชม
สมมติว่ารูปแบบการรับนักศึกษายอมรับผู้สมัคร 16 คนจากคะแนนส่วนใหญ่ และผู้สมัคร 4 คนจากชนกลุ่มน้อย การตัดสินใจของโมเดล เป็นไปตามความเท่าเทียมกันของข้อมูลประชากร เนื่องจากอัตราการยอมรับทั้งในหมู่ผู้ชมส่วนใหญ่และ ผู้สมัครรับเลือกตั้งที่เป็นชนกลุ่มน้อยคือ 20%
![กลุ่มผู้สมัครที่แบ่งออกเป็น 2 กลุ่ม ได้แก่ ผู้สมัครที่ถูกปฏิเสธ (64 สีน้ำเงิน
นักเรียน, นักเรียนสีส้ม 16 คน) และผู้สมัครที่ยอมรับ (สีฟ้า 16 คน)
และนักเรียนสีส้ม 4 คน)](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_demographic_parity.png?authuser=19&hl=th)
ตารางต่อไปนี้แสดงจำนวนตัวเลขที่สนับสนุนรายการที่ถูกปฏิเสธและได้รับการยอมรับ ผู้สมัครในรูปที่ 2
กลุ่มคะแนนเสียงข้างมาก | ชนกลุ่มน้อย | |
---|---|---|
ยอมรับแล้ว | 16 | 4 |
ถูกปฏิเสธ | 64 | 16 |
อัตราการยอมรับ | 20% | 20% |
แบบฝึกหัด: ตรวจสอบสัญชาติญาณของคุณ
คณะกรรมการรับสมัครนักศึกษาของมหาวิทยาลัยกำลังพิจารณาการใช้ความเท่าเทียมกันของข้อมูลประชากร เป็นเมตริกการประเมินความเป็นธรรมสำหรับโมเดลของพวกเขา และต้องการคำแนะนำจากคุณ ถึงข้อดีและข้อเสียของวิธีการนี้ เธอระบุได้ไหมว่า ข้อดีและข้อเสีย 1 ข้อในการประเมินการคาดการณ์ของโมเดลโดยใช้ข้อมูลประชากร ความเท่าเทียม?
อ่านส่วนถัดไปต่อ ประโยชน์และ ข้อเสีย สำหรับข้อมูลสรุปเกี่ยวกับข้อดีและข้อเสียหลักในการใช้ ความเท่าเทียมกันของข้อมูลประชากร
ข้อดีและข้อเสีย
ประโยชน์หลักๆ ของความเท่าเทียมกันทางข้อมูลประชากรสำหรับตัวอย่างการรับเข้าศึกษาของเราคือ เพื่อให้มั่นใจว่าทั้งกลุ่มชนส่วนใหญ่และชนกลุ่มน้อยแสดงอยู่ในกลุ่มที่ได้รับการยอมรับ ในสัดส่วนที่เท่ากันกับในกลุ่มผู้สมัคร กล่าวคือ หากกลุ่มผู้สมัครประกอบด้วยผู้สมัครส่วนใหญ่ 80% ของกลุ่ม และผู้สมัครที่เป็นชนกลุ่มน้อย 20% ความเท่าเทียมทางประชากรก็รับประกันว่ากลุ่ม ของคณะกรรมการจะเป็นนักเรียนส่วนใหญ่ 80% และชนกลุ่มน้อย 20% นักเรียน
อย่างไรก็ตาม ความเท่าเทียมกันของข้อมูลประชากรมีข้อด้อยที่สำคัญอย่างหนึ่งคือ การกระจายของการคาดการณ์สำหรับกลุ่มประชากรแต่ละกลุ่ม (จำนวน จำนวนนักเรียนที่ได้รับการจัดประเภทว่า "ผ่านเกณฑ์" กับ "ไม่เข้าเกณฑ์") มาพิจารณาเมื่อ การประเมินว่าควรจัดสรรพื้นที่สำหรับให้รับสมัครจำนวน 20 ที่นั่งอย่างไร
มาดูองค์ประกอบของกลุ่มผู้สมัครจากด้านบนกัน แต่ในตอนนี้เราจะแยกประเภทผู้สมัคร ไม่เพียงแต่ตามกลุ่มข้อมูลประชากร แต่โมเดลมีคะแนนที่ผู้สมัครแต่ละคน "มีคุณสมบัติ" หรือไม่ หรือ "ไม่เข้าเกณฑ์":
![รายละเอียดเดียวกันกับตัวเลือกที่ถูกปฏิเสธและได้รับอนุมัติ เช่น
ภาพก่อนหน้า แต่คราวนี้นักเรียน 50 คนที่กำลัง
ที่มีคุณสมบัติ (นักเรียนสีฟ้า 35 คนและนักเรียนสีส้ม 15 คน) ถูกเฉดสีเขียว
และกลุ่มย่อยของนักเรียนที่ผ่านการรับรองที่ถูกปฏิเสธ (นักเรียนสีฟ้า 19 คน
นักเรียนสีส้ม 11 คน) จะมีเครื่องหมาย X กำกับอยู่](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_demographic_parity_by_qualifications.png?authuser=19&hl=th)
ตารางต่อไปนี้แสดงจำนวนตัวเลขที่สนับสนุนรายการที่ถูกปฏิเสธและได้รับการยอมรับ ผู้สมัครในรูปที่ 3
กลุ่มคะแนนเสียงข้างมาก | ชนกลุ่มน้อย | |||
---|---|---|---|---|
ยอมรับ | ถูกปฏิเสธ | ยอมรับ | ถูกปฏิเสธ | |
ผ่านเกณฑ์ | 16 | 19 | 4 | 11 |
ไม่เข้าเกณฑ์ | 0 | 45 | 0 | 5 |
เรามาลองตารางอัตราการยอมรับของนักศึกษาที่มีคุณสมบัติตามเกณฑ์ของทั้ง 2 กลุ่มกัน
แม้ว่าทั้ง 2 กลุ่มจะมีอัตราการตอบรับโดยรวม 20% ก็น่าพอใจ ความเท่าเทียมกันของข้อมูลประชากร อัตราการตอบรับของนักเรียนส่วนใหญ่ที่ผ่านเกณฑ์คือ 46% แต่อัตราการรับนักศึกษาที่เป็นชนกลุ่มน้อยที่เข้าเกณฑ์มีเพียง 27% เท่านั้น
ในกรณีเช่นนี้ โดยที่การกระจายตัวของป้ายกำกับที่ต้องการ (เช่น "ผ่านเกณฑ์") แตกต่างกันอย่างมากสำหรับทั้ง 2 กลุ่ม ความเท่าเทียมกันของข้อมูลประชากรอาจ ไม่ใช่เมตริกที่เหมาะสมที่สุดในการเลือกประเมินความเป็นธรรม ในอีก เราจะดูที่ตัวชี้วัดความเป็นธรรมทางเลือก ความเท่าเทียมของโอกาส ซึ่งจะพิจารณาความแตกต่างเหล่านี้ด้วย