จนถึงตอนนี้ การพูดคุยถึงเมตริกด้านความยุติธรรมของเรามีข้อสันนิษฐานว่าการฝึกอบรมของเรา และตัวอย่างการทดสอบมีข้อมูลประชากรที่ครอบคลุม กลุ่มย่อยที่ได้รับการประเมิน แต่มักจะไม่เป็นเช่นนั้น
สมมติว่าชุดข้อมูลการสมัครเข้าเรียนมีข้อมูลประชากรไม่ครบ แต่ระบบจะบันทึกการเป็นสมาชิกกลุ่มข้อมูลประชากรเพียงไม่กี่เปอร์เซ็นต์ กลุ่มตัวอย่าง เช่น นักเรียนที่เลือกระบุด้วยตนเองว่ากลุ่มใด เป็นของ ในกรณีนี้ มีการจำแนกกลุ่มผู้สมัครเป็น "ยอมรับแล้ว" และนักเรียนที่ถูกปฏิเสธแล้ว จะมีลักษณะดังนี้
![กลุ่มผู้สมัครที่มีนักเรียน 100 คน โดยแบ่งออกเป็น 2 กลุ่มดังนี้
ผู้สมัครที่ถูกปฏิเสธ (ไอคอนนักเรียน 80 รายการ) และผู้สมัครที่ยอมรับ (20 คน
ไอคอนนักเรียน) ไอคอนทั้งหมดเป็นสีเทา (ซึ่งหมายความว่า
ไม่รู้จักกลุ่มประชากร) ยกเว้น 6 ไอคอน ในคอลัมน์ที่ถูกปฏิเสธ
กลุ่ม ไอคอนนักเรียน 2 คนเป็นสีน้ำเงิน และไอคอนนักเรียน 2 คนมีสีเทา
สีส้ม ในกลุ่ม "ยอมรับแล้ว" ไอคอนนักเรียน 1 รายการมีสีเทาและสีน้ำเงินคือ
เฉดสีส้ม](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_counterfactual_candidate_pool.png?authuser=19&hl=th)
การประเมินการคาดคะเนโมเดลสำหรับข้อมูลประชากรเป็นไปไม่ได้ ความเท่าเทียมหรือความเท่าเทียมของโอกาส เนื่องจากเราไม่มีข้อมูลประชากร ตัวอย่างของเราถึง 94% อย่างไรก็ตาม สำหรับ 6% ของตัวอย่างที่มี คุณลักษณะข้อมูลประชากร เรายังคงสามารถเปรียบเทียบคู่ของการคาดการณ์ (ผู้สมัครเสียงข้างมากกับผู้สมัครที่เป็นรอง) และดูว่าพวกเขาเคยได้รับ ได้รับการปฏิบัติอย่างเท่าเทียมโดยโมเดล
ตัวอย่างเช่น สมมติว่าเราได้ตรวจสอบข้อมูลสถานที่อย่างละเอียดแล้ว ว่างสำหรับผู้สมัคร 2 คน (1 คนในกลุ่มส่วนใหญ่และ 1 คนในกลุ่มรอง ซึ่งมีเครื่องหมายดาวในรูปภาพด้านล่าง) และได้ระบุว่า มีคุณสมบัติตรงตามเกณฑ์การรับเข้าศึกษาเหมือนกันทุกประการ หากโมเดลสร้าง การคาดคะเนเดียวกันสำหรับผู้สมัครทั้งสองนี้ (กล่าวคือ ปฏิเสธทั้ง 2 กรณี ผู้สมัครหรือยอมรับผู้สมัครทั้ง 2 ราย) ถือว่าเป็นไปตามข้อเท็จจริงที่ขัดแย้ง ความเป็นธรรมสำหรับตัวอย่างเหล่านี้ หลักความยุติธรรมในฝ่ายตรงข้ามได้ระบุเงื่อนไขว่า ตัวอย่างที่ที่เหมือนกันทุกประการ ยกเว้นแอตทริบิวต์ที่มีความละเอียดอ่อนที่ระบุ (ในที่นี้คือการเป็นสมาชิกกลุ่มข้อมูลประชากร) ควรให้ผลลัพธ์ในโมเดลเดียวกัน การคาดคะเน
![พูลผู้สมัครเหมือนกับในรูปภาพก่อนหน้า ยกเว้นใน
เวอร์ชันนี้ ไอคอนนักเรียนสีน้ำเงิน 1 ไอคอน (เป็นของกลุ่มส่วนใหญ่) และ
ไอคอนนักเรียนสีส้ม 1 รายการ (เป็นของชนกลุ่มน้อย) ในช่อง "ปฏิเสธ"
กลุ่มจะมีเครื่องหมายดอกจันกำกับไว้ ซึ่งแสดงให้เห็นว่าผู้สมัครทั้งสองนี้
เหมือนกัน (นอกเหนือจากกลุ่มข้อมูลประชากร)](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_counterfactual_satisfied.png?authuser=19&hl=th)
ข้อดีและข้อเสีย
ดังที่กล่าวไว้ก่อนหน้านี้ ประโยชน์หลักของความเป็นธรรมที่ขัดแย้งกับข้อเท็จจริงคือ ของ Google สามารถใช้ประเมินการคาดการณ์ความเป็นธรรมในหลายกรณี เมตริกอื่นๆ เป็นไปไม่ได้ หากชุดข้อมูลไม่มีทั้งชุด ค่าฟีเจอร์สำหรับแอตทริบิวต์กลุ่มที่เกี่ยวข้องภายใต้การพิจารณาจะไม่ ประเมินความเป็นธรรมโดยใช้ความเท่าเทียมทางข้อมูลประชากรหรือความเท่าเทียมกันของ โอกาส แต่ถ้าแอตทริบิวต์กลุ่มเหล่านี้ใช้ได้กับกลุ่มย่อย ของตัวอย่าง และอาจสามารถระบุคู่ที่เทียบเคียงกันได้ เป็นตัวอย่างในกลุ่มต่างๆ ผู้ชำนาญการสามารถใช้ความเป็นธรรมที่ขัดแย้งกับข้อเท็จจริง เป็นเมตริกสำหรับตรวจสอบต้นแบบสำหรับอคติที่อาจเกิดขึ้นในการคาดการณ์
นอกจากนี้ เนื่องจากเมตริกต่างๆ เช่น ความเท่าเทียมกันของข้อมูลประชากรและความเท่าเทียมกันของ กลุ่มประเมินโอกาสโดยรวม โดยอาจปกปิดปัญหาเกี่ยวกับอคติที่ส่งผลต่อ โมเดลในระดับการคาดการณ์แต่ละรายการ ซึ่งจะแสดงได้โดย การประเมินโดยใช้ความเป็นธรรมที่ขัดแย้งกับข้อเท็จจริง ตัวอย่างเช่น สมมติว่าการสมัครของเรา แบบจำลองยอมรับผู้สมัครที่มีคุณสมบัติเหมาะสมจากกลุ่มส่วนใหญ่และชนกลุ่มน้อย ในสัดส่วนเท่ากัน แต่ผู้สมัครรับเลือกตั้งที่เป็นส่วนน้อยที่มีคุณสมบัติมากที่สุดคือ ต่างออกไป ในขณะที่ผู้สมัครเสียงข้างมากที่มีคุณสมบัติ ข้อมูลเข้าสู่ระบบได้รับการยอมรับแล้ว การวิเคราะห์ความยุติธรรมในการโต้แย้งช่วยระบุ ข้อมูลที่ไม่ตรงกันดังกล่าวเพื่อให้สามารถดำเนินการแก้ไขได้
ในอีกด้านหนึ่ง ข้อเสียหลักของความยุติธรรมที่ขัดแย้งกับข้อเท็จจริงคือ ให้ภาพรวมของอคติในการคาดการณ์โมเดล การระบุและ การแก้ไขความไม่เสมอภาคเล็กน้อยในตัวอย่างเป็นคู่อาจไม่เพียงพอ เพื่อแก้ไขปัญหาการให้น้ำหนักพิเศษอย่างเป็นระบบซึ่งส่งผลกระทบต่อตัวอย่างทั้งกลุ่มย่อย
ในกรณีที่เป็นไปได้ ผู้ปฏิบัติงานอาจพิจารณาทำทั้งข้อมูลรวม การวิเคราะห์ความเป็นธรรม (โดยใช้เมตริก เช่น ความเท่าเทียมทางข้อมูลประชากรหรือความเท่าเทียมของ ของ Google รวมถึงการวิเคราะห์ความยุติธรรมที่แยบยลซึ่งกันและกัน เพื่อให้เกิดการเข้าถึงในวงกว้างที่สุด ข้อมูลเชิงลึกเกี่ยวกับปัญหาอคติที่อาจเกิดขึ้นซึ่งจำเป็นต้องแก้ไข
แบบฝึกหัด: ตรวจสอบความเข้าใจ
![รูปการออกกำลังกาย แวดวง 2 กลุ่ม: เชิงลบ
การคาดการณ์และการคาดการณ์เชิงบวก
การคาดคะเนเชิงลบประกอบด้วยวงกลม 50 วงดังนี้
วงกลมสีเทา 39 วง วงกลมสีน้ำเงิน 8 วง และวงกลมสีส้ม 3 วง หนึ่ง
วงกลมสีน้ำเงินมีป้ายกำกับว่า "A" และวงกลมสีส้มหนึ่งวงกลมจะมีป้าย "A"
และวงกลมสีน้ำเงิน 1 วงมีป้ายกำกับ 'C'
การคาดคะเนเชิงบวกประกอบด้วยวงกลม 15 วง:
วงกลม 10 วงสีเทา วงกลมสีน้ำเงิน 3 วง และวงกลม 2 วง
วงกลมสีส้ม วงกลมสีน้ำเงิน 1 วงติดป้ายกำกับ 'B' ซึ่งเป็นสีส้ม 1 วง
วงกลมจะมีป้าย "B" และวงกลมสีน้ำเงินอีกวงกลมหนึ่งมีป้ายกำกับว่า "C"
คำอธิบายด้านล่างแผนภาพระบุว่าวงกลมสีน้ำเงินหมายถึง
ตัวอย่างในกลุ่มส่วนใหญ่ วงกลมสีส้มหมายถึง
ตัวอย่างของกลุ่มคนที่เป็นชนกลุ่มน้อย และมีวงกลมสีเทาแสดงถึง
ตัวอย่างที่ไม่ทราบการเป็นสมาชิกกลุ่ม](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_counterfactual_exercise_diagram.png?authuser=19&hl=th)
ในชุดการคาดการณ์ในรูปที่ 7 ด้านบน ซึ่งใน คู่ที่เหมือนกันต่อไปนี้ (ไม่รวมการเป็นสมาชิกกลุ่ม) ได้รับการคาดคะเนที่ละเมิดความยุติธรรมในสิ่งที่โต้แย้งกันหรือไม่
สรุป
ความเท่าเทียมกันของข้อมูลประชากร ความเท่าเทียมกันของโอกาส และความยุติธรรมในฝ่ายตรงข้าม ให้คำจำกัดความทางคณิตศาสตร์ที่แตกต่างกันสำหรับ ความเป็นธรรมสำหรับการคาดการณ์โมเดล ทั้งหมดนี้มีเพียง 3 อย่าง วิธีวัดความเป็นธรรม คำจำกัดความของความเป็นธรรมบางฉบับมีการร่วมกัน ใช้ร่วมกันไม่ได้ ซึ่งหมายความว่าเป็นไปไม่ได้ ที่เราจะตอบสนองความต้องการ จากการคาดการณ์ของโมเดล
แล้วคุณจะเลือกเกณฑ์ที่ว่า "เหมาะสม" เป็นเมตริกความเป็นธรรมสำหรับโมเดลของคุณไหม สิ่งที่คุณต้องทำ ควรพิจารณาถึงบริบทที่มีการใช้งานและเป้าหมายที่ครอบคลุมที่คุณต้องการ ที่ต้องการทำให้สำเร็จ ตัวอย่างเช่น คือเป้าหมายในการได้รับการนำเสนอที่เท่าเทียม (ในกรณีนี้ ความเท่าเทียมกันของข้อมูลประชากรอาจเป็นเมตริกที่เหมาะสมที่สุด) หรือ ได้รับโอกาสที่เท่าเทียมกัน (ในที่นี้ความเท่าเทียมของโอกาสอาจเป็นสิ่งที่ดีที่สุด )
ดูข้อมูลเพิ่มเติมเกี่ยวกับความเป็นธรรม ML และสำรวจปัญหาเหล่านี้อย่างละเอียดได้ที่ ความยุติธรรมและแมชชีนเลิร์นนิง: ข้อจำกัดและโอกาส โดย Solon Barocas, Moritz Hardt และ Arvind Narayanan