Jigsaw ekibinin, zehirli yorumları tespit etmek için makine öğreniminden yararlanan Perspective API'yi geliştirerek Google'ın Karşıt Kötüye Kullanım Teknolojisi ekibiyle işbirliğiyle çevrimiçi tacizi nasıl ele aldığını öğrenin. Ardından, makine öğrenimi modellerini değerlendirmek ve eğitim verilerinde istenmeyen ön yargının azaltılmasına yardımcı olmak için Adalet Göstergelerini kullanın.
Giriş
Jigsaw, Alphabet'te bulunan ve dünyayı daha güvenli hale getiren teknolojiyi oluşturan bir birimdir. Ekip 2017'de online tacizi ele almak için yola çıktı ve Perspective API'yi geliştirdi. Perspective API'sinin amacı, online sohbete katılımı, kaliteyi ve empatiyi geniş ölçekte artırmaktır. Geliştiriciler ve yayıncılar, içeriklerin içeriğini tehdit, hakaret, küfür ve zehirli dil dahil olmak üzere rahatsız edici olabilecek metinlere göre analiz ederek online forumlarda yapıcı diyalogları teşvik eden metinleri belirlemek ve filtrelemek için Perspektif'i kullanabilir.
Perspective API'si yorum metnini giriş olarak alır ve yorumun geçmişte gördüğü zehirli yorumlara benzeme olasılığını gösteren 0'dan 1'e bir "skor" sağlar. 0 puan, yorumun zehirlenme olasılığını% 0, 1 puanının, yorumun zehirli olma olasılığını% 100, 0,5 puanının ise zehirlenme olasılığının% 50 olduğunu, yani modelin emin olmadığını) gösterir.
Sorun Beyanı
Perspective API'nin kullanıma sunulmasının ardından harici kullanıcılar, ırk veya cinsel yönelim ve kirlilik puanı hakkında bilgi içeren kimlik terimleri arasında olumlu bir ilişki olduğunu keşfettiler. Örneğin, "Gay siyahi bir kadınım" kelime öbeği, 0,87 bir zehirlilik puanı aldı. Bu örnekte, kimlik terimleri çürütücü kullanılmıyordu. Bu nedenle bu örnek yanlış sınıflandırıldı. Bir sorun oluştu mu?