ดูวิธีที่ทีม Jigsaw จัดการการล่วงละเมิดทางออนไลน์ร่วมกับทีมเทคโนโลยีต่อต้านตัวนับของ Google #39; ด้วยการพัฒนา Perspective API ซึ่งใช้แมชชีนเลิร์นนิงในการระบุความคิดเห็นที่เป็นพิษ จากนั้นใช้ตัวบ่งชี้ความยุติธรรมในการประเมินโมเดล ML และช่วยบรรเทาการให้น้ําหนักพิเศษในข้อมูลการฝึกอบรมโดยไม่ได้ตั้งใจ
บทนำ
Jigsaw คือหน่วยใน Alphabet ซึ่งสร้างเทคโนโลยีเพื่อทําให้โลกปลอดภัยยิ่งขึ้น ในปี 2017 ทีมได้เริ่มรับมือกับการล่วงละเมิดทางออนไลน์และได้พัฒนา Perspective API Perspective API เป้าหมายคือการเพิ่มการมีส่วนร่วม คุณภาพ และความเห็นอกเห็นใจในการสนทนาออนไลน์ในวงกว้าง นักพัฒนาซอฟต์แวร์และผู้เผยแพร่สามารถใช้ มุมมองเพื่อระบุและกรองข้อความที่ยับยั้งบทสนทนาที่สร้างสรรค์ ในฟอรัมออนไลน์ด้วยการวิเคราะห์เนื้อหาของความคิดเห็นเพื่อหาข้อความที่มีแนวโน้มไม่เหมาะสม รวมถึงการคุกคาม การดูถูก คําหยาบคาย และภาษาที่เป็นพิษ
Perspective API นําข้อความแสดงความคิดเห็นไปป้อนและแสดงผล "score" จาก 0 ถึง 1 ซึ่งระบุความน่าจะเป็นที่ความคิดเห็นนั้นคล้ายกับความคิดเห็นที่เป็นพิษ และเห็นข้อความนี้ในอดีต คะแนน 0 หมายความว่าคะแนนเป็น 0% ของความคิดเห็นเป็นพิษ คะแนน 1 คือความน่าจะเป็น 100% ที่ความคิดเห็นเป็นพิษ และคะแนน 0.5 แสดงถึงความน่าจะเป็น 50% ที่ความคิดเห็นเป็นพิษ (เช่น โมเดลไม่แน่ใจ)
คำอธิบายปัญหา
หลังจากการเปิดตัว Perspective API ครั้งแรก ผู้ใช้ภายนอกพบความสัมพันธ์เชิงบวกระหว่างคําเกี่ยวกับข้อมูลประจําตัวที่มีข้อมูลเกี่ยวกับเชื้อชาติหรือวิถีทางเพศ รวมถึงคะแนนความเป็นพิษ เช่น วลี "ฉันเป็นชาวเกย์ผิวดํา &; ได้รับคะแนนความเป็นพิษ 0.87 ในกรณีนี้ ไม่มีการใช้คําที่มีตัวตน อย่างถูกต้อง จึงทําให้ตัวอย่างนี้ได้รับการจัดประเภทไม่ถูกต้อง มีอะไรผิดพลาดไหม