ความเป็นธรรม: ความยุติธรรมซึ่งถูกต่อต้าน

จนถึงตอนนี้ การพูดคุยถึงเมตริกด้านความยุติธรรมของเรามีข้อสันนิษฐานว่าการฝึกอบรมของเรา และตัวอย่างการทดสอบมีข้อมูลประชากรที่ครอบคลุม กลุ่มย่อยที่ได้รับการประเมิน แต่มักจะไม่เป็นเช่นนั้น

สมมติว่าชุดข้อมูลการสมัครเข้าเรียนมีข้อมูลประชากรไม่ครบ แต่ระบบจะบันทึกการเป็นสมาชิกกลุ่มข้อมูลประชากรเพียงไม่กี่เปอร์เซ็นต์ กลุ่มตัวอย่าง เช่น นักเรียนที่เลือกระบุด้วยตนเองว่ากลุ่มใด เป็นของ ในกรณีนี้ มีการจำแนกกลุ่มผู้สมัครเป็น "ยอมรับแล้ว" และนักเรียนที่ถูกปฏิเสธแล้ว จะมีลักษณะดังนี้

วันที่ กลุ่มผู้สมัครที่มีนักเรียน 100 คน โดยแบ่งออกเป็น 2 กลุ่มดังนี้ ผู้สมัครที่ถูกปฏิเสธ (ไอคอนนักเรียน 80 รายการ) และผู้สมัครที่ยอมรับ (20 คน ไอคอนนักเรียน) ไอคอนทั้งหมดเป็นสีเทา (ซึ่งหมายความว่า ไม่รู้จักกลุ่มประชากร) ยกเว้น 6 ไอคอน ในคอลัมน์ที่ถูกปฏิเสธ กลุ่ม ไอคอนนักเรียน 2 คนเป็นสีน้ำเงิน และไอคอนนักเรียน 2 คนมีสีเทา สีส้ม ในกลุ่ม "ยอมรับแล้ว" ไอคอนนักเรียน 1 รายการมีสีเทาและสีน้ำเงินคือ เฉดสีส้ม
รูปที่ 5 กลุ่มผู้สมัครซึ่งเป็นสมาชิกกลุ่มข้อมูลประชากร ไม่รู้จักสำหรับตัวเลือกเกือบทั้งหมด (ไอคอนแรเงาเป็นสีเทา)

การประเมินการคาดคะเนโมเดลสำหรับข้อมูลประชากรเป็นไปไม่ได้ ความเท่าเทียมหรือความเท่าเทียมของโอกาส เนื่องจากเราไม่มีข้อมูลประชากร ตัวอย่างของเราถึง 94% อย่างไรก็ตาม สำหรับ 6% ของตัวอย่างที่มี คุณลักษณะข้อมูลประชากร เรายังคงสามารถเปรียบเทียบคู่ของการคาดการณ์ (ผู้สมัครเสียงข้างมากกับผู้สมัครที่เป็นรอง) และดูว่าพวกเขาเคยได้รับ ได้รับการปฏิบัติอย่างเท่าเทียมโดยโมเดล

ตัวอย่างเช่น สมมติว่าเราได้ตรวจสอบข้อมูลสถานที่อย่างละเอียดแล้ว ว่างสำหรับผู้สมัคร 2 คน (1 คนในกลุ่มส่วนใหญ่และ 1 คนในกลุ่มรอง ซึ่งมีเครื่องหมายดาวในรูปภาพด้านล่าง) และได้ระบุว่า มีคุณสมบัติตรงตามเกณฑ์การรับเข้าศึกษาเหมือนกันทุกประการ หากโมเดลสร้าง การคาดคะเนเดียวกันสำหรับผู้สมัครทั้งสองนี้ (กล่าวคือ ปฏิเสธทั้ง 2 กรณี ผู้สมัครหรือยอมรับผู้สมัครทั้ง 2 ราย) ถือว่าเป็นไปตามข้อเท็จจริงที่ขัดแย้ง ความเป็นธรรมสำหรับตัวอย่างเหล่านี้ หลักความยุติธรรมในฝ่ายตรงข้ามได้ระบุเงื่อนไขว่า ตัวอย่างที่ที่เหมือนกันทุกประการ ยกเว้นแอตทริบิวต์ที่มีความละเอียดอ่อนที่ระบุ (ในที่นี้คือการเป็นสมาชิกกลุ่มข้อมูลประชากร) ควรให้ผลลัพธ์ในโมเดลเดียวกัน การคาดคะเน

วันที่ พูลผู้สมัครเหมือนกับในรูปภาพก่อนหน้า ยกเว้นใน เวอร์ชันนี้ ไอคอนนักเรียนสีน้ำเงิน 1 ไอคอน (เป็นของกลุ่มส่วนใหญ่) และ ไอคอนนักเรียนสีส้ม 1 รายการ (เป็นของชนกลุ่มน้อย) ในช่อง "ปฏิเสธ" กลุ่มจะมีเครื่องหมายดอกจันกำกับไว้ ซึ่งแสดงให้เห็นว่าผู้สมัครทั้งสองนี้ เหมือนกัน (นอกเหนือจากกลุ่มข้อมูลประชากร)
รูปที่ 6 เราพึงพอใจกับความยุติธรรมในฝ่ายตรงข้ามกับความจริงเกี่ยวกับทั้ง 2 ฝ่าย ตัวอย่าง (แตกต่างกันเฉพาะการเป็นสมาชิกกลุ่มประชากร) ที่มีคำอธิบายประกอบ เนื่องจากโมเดลตัดสินใจเหมือนกันสำหรับทั้งสอง (ปฏิเสธ)

ข้อดีและข้อเสีย

ดังที่กล่าวไว้ก่อนหน้านี้ ประโยชน์หลักของความเป็นธรรมที่ขัดแย้งกับข้อเท็จจริงคือ ของ Google สามารถใช้ประเมินการคาดการณ์ความเป็นธรรมในหลายกรณี เมตริกอื่นๆ เป็นไปไม่ได้ หากชุดข้อมูลไม่มีทั้งชุด ค่าฟีเจอร์สำหรับแอตทริบิวต์กลุ่มที่เกี่ยวข้องภายใต้การพิจารณาจะไม่ ประเมินความเป็นธรรมโดยใช้ความเท่าเทียมทางข้อมูลประชากรหรือความเท่าเทียมกันของ โอกาส แต่ถ้าแอตทริบิวต์กลุ่มเหล่านี้ใช้ได้กับกลุ่มย่อย ของตัวอย่าง และอาจสามารถระบุคู่ที่เทียบเคียงกันได้ เป็นตัวอย่างในกลุ่มต่างๆ ผู้ชำนาญการสามารถใช้ความเป็นธรรมที่ขัดแย้งกับข้อเท็จจริง เป็นเมตริกสำหรับตรวจสอบต้นแบบสำหรับอคติที่อาจเกิดขึ้นในการคาดการณ์

นอกจากนี้ เนื่องจากเมตริกต่างๆ เช่น ความเท่าเทียมกันของข้อมูลประชากรและความเท่าเทียมกันของ กลุ่มประเมินโอกาสโดยรวม โดยอาจปกปิดปัญหาเกี่ยวกับอคติที่ส่งผลต่อ โมเดลในระดับการคาดการณ์แต่ละรายการ ซึ่งจะแสดงได้โดย การประเมินโดยใช้ความเป็นธรรมที่ขัดแย้งกับข้อเท็จจริง ตัวอย่างเช่น สมมติว่าการสมัครของเรา แบบจำลองยอมรับผู้สมัครที่มีคุณสมบัติเหมาะสมจากกลุ่มส่วนใหญ่และชนกลุ่มน้อย ในสัดส่วนเท่ากัน แต่ผู้สมัครรับเลือกตั้งที่เป็นส่วนน้อยที่มีคุณสมบัติมากที่สุดคือ ต่างออกไป ในขณะที่ผู้สมัครเสียงข้างมากที่มีคุณสมบัติ ข้อมูลเข้าสู่ระบบได้รับการยอมรับแล้ว การวิเคราะห์ความยุติธรรมในการโต้แย้งช่วยระบุ ข้อมูลที่ไม่ตรงกันดังกล่าวเพื่อให้สามารถดำเนินการแก้ไขได้

ในอีกด้านหนึ่ง ข้อเสียหลักของความยุติธรรมที่ขัดแย้งกับข้อเท็จจริงคือ ให้ภาพรวมของอคติในการคาดการณ์โมเดล การระบุและ การแก้ไขความไม่เสมอภาคเล็กน้อยในตัวอย่างเป็นคู่อาจไม่เพียงพอ เพื่อแก้ไขปัญหาการให้น้ำหนักพิเศษอย่างเป็นระบบซึ่งส่งผลกระทบต่อตัวอย่างทั้งกลุ่มย่อย

ในกรณีที่เป็นไปได้ ผู้ปฏิบัติงานอาจพิจารณาทำทั้งข้อมูลรวม การวิเคราะห์ความเป็นธรรม (โดยใช้เมตริก เช่น ความเท่าเทียมทางข้อมูลประชากรหรือความเท่าเทียมของ ของ Google รวมถึงการวิเคราะห์ความยุติธรรมที่แยบยลซึ่งกันและกัน เพื่อให้เกิดการเข้าถึงในวงกว้างที่สุด ข้อมูลเชิงลึกเกี่ยวกับปัญหาอคติที่อาจเกิดขึ้นซึ่งจำเป็นต้องแก้ไข

แบบฝึกหัด: ตรวจสอบความเข้าใจ

วันที่ รูปการออกกำลังกาย แวดวง 2 กลุ่ม: เชิงลบ การคาดการณ์และการคาดการณ์เชิงบวก การคาดคะเนเชิงลบประกอบด้วยวงกลม 50 วงดังนี้ วงกลมสีเทา 39 วง วงกลมสีน้ำเงิน 8 วง และวงกลมสีส้ม 3 วง หนึ่ง วงกลมสีน้ำเงินมีป้ายกำกับว่า "A" และวงกลมสีส้มหนึ่งวงกลมจะมีป้าย "A" และวงกลมสีน้ำเงิน 1 วงมีป้ายกำกับ 'C' การคาดคะเนเชิงบวกประกอบด้วยวงกลม 15 วง: วงกลม 10 วงสีเทา วงกลมสีน้ำเงิน 3 วง และวงกลม 2 วง วงกลมสีส้ม วงกลมสีน้ำเงิน 1 วงติดป้ายกำกับ 'B' ซึ่งเป็นสีส้ม 1 วง วงกลมจะมีป้าย "B" และวงกลมสีน้ำเงินอีกวงกลมหนึ่งมีป้ายกำกับว่า "C" คำอธิบายด้านล่างแผนภาพระบุว่าวงกลมสีน้ำเงินหมายถึง ตัวอย่างในกลุ่มส่วนใหญ่ วงกลมสีส้มหมายถึง ตัวอย่างของกลุ่มคนที่เป็นชนกลุ่มน้อย และมีวงกลมสีเทาแสดงถึง ตัวอย่างที่ไม่ทราบการเป็นสมาชิกกลุ่ม
รูปที่ 7 การคาดการณ์เชิงบวกและเชิงลบสำหรับกลุ่มตัวอย่าง พร้อมตัวอย่าง 3 คู่ที่มีป้ายกำกับ A, B และ C

ในชุดการคาดการณ์ในรูปที่ 7 ด้านบน ซึ่งใน คู่ที่เหมือนกันต่อไปนี้ (ไม่รวมการเป็นสมาชิกกลุ่ม) ได้รับการคาดคะเนที่ละเมิดความยุติธรรมในสิ่งที่โต้แย้งกันหรือไม่

จับคู่ A
การคาดคะเนของคู่ ก เป็นไปตามหลักธรรมที่เป็นความจริง ซึ่งทั้ง 2 ฝ่าย ตัวอย่างในกลุ่มส่วนใหญ่ (สีน้ำเงิน) และตัวอย่างใน กลุ่มน้อย (สีส้ม) ได้รับการคาดการณ์เดียวกัน (เชิงลบ)
คู่ B
การคาดคะเนของคู่ ข เป็นไปตามหลักความยุติธรรมที่ขัดแย้งกับข้อเท็จจริง เนื่องจากทั้ง ตัวอย่างในกลุ่มส่วนใหญ่ (สีน้ำเงิน) และตัวอย่างใน ชนกลุ่มน้อย (สีส้ม) ได้รับการคาดการณ์เดียวกัน (เชิงบวก)
จับคู่ C
การคาดคะเนของคู่ C มีไว้สำหรับตัวอย่าง 2 รายการที่ทั้งคู่เป็นของ กลุ่มใหญ่ (สีฟ้า) ข้อเท็จจริงที่ว่าโมเดลดังกล่าวสร้างความแตกต่าง การคาดคะเนสำหรับตัวอย่างที่เหมือนกันเหล่านี้ แสดงให้เห็นว่าอาจมี เป็นปัญหาด้านประสิทธิภาพที่กว้างกว่าเกี่ยวกับโมเดล ตรวจสอบแล้ว อย่างไรก็ตาม ผลลัพธ์นี้ไม่ได้ละเมิดข้อเท็จจริงที่ขัดแย้ง ความเป็นธรรม ซึ่งมีเงื่อนไขที่จะบังคับใช้เฉพาะในกรณีที่ ตัวอย่างที่เหมือนกันจะดึงมาจากกลุ่มต่างๆ
ไม่มีคู่ใดที่ละเมิดความยุติธรรมที่ขัดแย้งกับข้อเท็จจริง
การคาดคะเนสำหรับคู่ ก และ ข เป็นไปตามความยุติธรรมที่ขัดแย้งกับข้อเท็จจริง เพราะในทั้ง 2 กรณี ตัวอย่างในกลุ่มส่วนใหญ่และ ตัวอย่างที่ เป็นชนกลุ่มน้อยได้รับการคาดการณ์เดียวกัน จับคู่ C ตัวอย่างทั้งสองอยู่ในกลุ่มเดียวกัน (กลุ่มส่วนใหญ่) ดังนั้น ความยุติธรรมในการโต้แย้งจะไม่มีผลในกรณีนี้

สรุป

ความเท่าเทียมกันของข้อมูลประชากร ความเท่าเทียมกันของโอกาส และความยุติธรรมในฝ่ายตรงข้าม ให้คำจำกัดความทางคณิตศาสตร์ที่แตกต่างกันสำหรับ ความเป็นธรรมสำหรับการคาดการณ์โมเดล ทั้งหมดนี้มีเพียง 3 อย่าง วิธีวัดความเป็นธรรม คำจำกัดความของความเป็นธรรมบางฉบับมีการร่วมกัน ใช้ร่วมกันไม่ได้ ซึ่งหมายความว่าเป็นไปไม่ได้ ที่เราจะตอบสนองความต้องการ จากการคาดการณ์ของโมเดล

แล้วคุณจะเลือกเกณฑ์ที่ว่า "เหมาะสม" เป็นเมตริกความเป็นธรรมสำหรับโมเดลของคุณไหม สิ่งที่คุณต้องทำ ควรพิจารณาถึงบริบทที่มีการใช้งานและเป้าหมายที่ครอบคลุมที่คุณต้องการ ที่ต้องการทำให้สำเร็จ ตัวอย่างเช่น คือเป้าหมายในการได้รับการนำเสนอที่เท่าเทียม (ในกรณีนี้ ความเท่าเทียมกันของข้อมูลประชากรอาจเป็นเมตริกที่เหมาะสมที่สุด) หรือ ได้รับโอกาสที่เท่าเทียมกัน (ในที่นี้ความเท่าเทียมของโอกาสอาจเป็นสิ่งที่ดีที่สุด )

ดูข้อมูลเพิ่มเติมเกี่ยวกับความเป็นธรรม ML และสำรวจปัญหาเหล่านี้อย่างละเอียดได้ที่ ความยุติธรรมและแมชชีนเลิร์นนิง: ข้อจำกัดและโอกาส โดย Solon Barocas, Moritz Hardt และ Arvind Narayanan

ก่อนหน้า
ความเท่าเทียมกันของโอกาส (10 นาที)
ถัดไป
แบบฝึกเขียนโปรแกรม (40 นาที)