Keadilan: Mengidentifikasi bias

Saat menyiapkan data untuk pelatihan dan evaluasi model, Anda perlu ingatlah masalah-masalah keadilan dan audit untuk sumber-sumber potensial bias, sehingga Anda dapat secara proaktif memitigasi efeknya sebelum merilis model Anda ke dalam lingkungan production.

Di mana bias dapat muncul? Berikut adalah beberapa tanda merah yang harus diperhatikan dalam {i>dataset<i} Anda.

Nilai fitur tidak ada

Jika {i>dataset<i} Anda memiliki satu atau beberapa fitur dengan jumlah contoh, yang bisa menjadi indikator bahwa karakteristik utama tertentu dari {i>dataset<i} Anda kurang terwakili.

Latihan: Memeriksa pemahaman Anda

Anda melatih model untuk memprediksi kemampuan adopsi penyelamat berbagai fitur, termasuk jenis ras, usia, berat, temperamen, dan jumlah bulu yang rontok setiap hari. Tujuan Anda adalah memastikan model memiliki kinerja yang sama baik pada semua jenis, terlepas dari atau karakteristik perilaku

Anda menemukan bahwa 1.500 dari 5.000 contoh dalam set pelatihan adalah nilai temperamen yang hilang. Manakah di antara berikut ini yang merupakan sumber potensial bias yang harus Anda selidiki?

Data temperamen lebih mungkin hilang untuk jenis keturunan tertentu jenis.
Jika ketersediaan data temperamen berkorelasi dengan jenis, maka hal ini mungkin akan menghasilkan prediksi penerimaan yang kurang akurat untuk jenis tertentu.
Data temperamen lebih mungkin hilang untuk di bawah 12 tahun bulan di usia
Jika ketersediaan data temperamen berkorelasi dengan usia, maka hal ini dapat menyebabkan prediksi adopsi yang kurang akurat untuk anak versus dewasa.
Data temperamen hilang untuk semua yang diselamatkan dari kota-kota besar.
Secara sekilas, mungkin ini bukan merupakan sumber bias, karena data yang hilang akan mempengaruhi semua kota secara merata, terlepas dari jenis kelamin, usia, berat badan, dll. Namun, kita masih perlu mempertimbangkan lokasi asal anjingnya dapat secara efektif berfungsi sebagai {i>proxy<i} untuk jaringan karakteristik. Misalnya, jika dari kota-kota besar jauh lebih mungkin berukuran lebih kecil dibandingkan dari daerah pedesaan area, yang dapat menghasilkan prediksi kemampuan adopsi yang kurang akurat untuk dengan berat badan lebih rendah atau jenis kecil tertentu.
Data temperamen hilang dari {i>dataset<i} secara acak.
Jika data temperamen benar-benar hilang secara acak, maka dan ini berpotensi menjadi sumber bias. Namun, mungkin saja sifat mungkin tampak hilang secara acak, tetapi penyelidikan lebih lanjut mungkin mengungkapkan penjelasan atas perbedaan tersebut. Jadi, penting untuk melakukan peninjauan secara menyeluruh untuk mengesampingkan kemungkinan-kemungkinan lain, mengasumsikan bahwa kesenjangan data bersifat acak.

Nilai fitur yang tidak terduga

Saat menjelajahi data, Anda juga harus mencari contoh yang berisi nilai fitur yang menonjol dan sangat tidak karakteristik atau tidak biasa. Fitur tak terduga ini dapat mengindikasikan masalah yang terjadi selama pengumpulan data atau ketidakakuratan yang dapat menimbulkan bias.

Latihan: Memeriksa pemahaman Anda

Tinjau serangkaian contoh hipotesis berikut untuk melatih {i>rescue-dog<i} model adopsi.

ras usia (thn) berat (lbs) temperamen shedding_level
pudel mainan 2 12 bersemangat rendah
golden retriever 7 65 tenang tinggi
labrador retriever 35 73 tenang tinggi
Buldog prancis 0,5 11 tenang sedang
jenis campuran yang tidak diketahui 4 45 bersemangat tinggi
Basset Hound 9 48 tenang sedang
Dapatkah Anda mengidentifikasi masalah pada data fitur?
Klik di sini untuk melihat jawabannya

Kemiringan data

Segala jenis penyimpangan dalam data Anda, di mana kelompok atau karakteristik tertentu mungkin kurang atau terlalu terwakili dibandingkan dengan prevalensi dunia nyata, dapat menghadirkan bias ke dalam model.

Saat mengaudit performa model, penting untuk tidak hanya melihat hasil pada agregat, tetapi untuk membagi hasil berdasarkan subkelompok. Misalnya, dalam kasus model adopsi {i>rescue-dog<i} kita, untuk memastikan keadilan, tidak cukup hanya cukup melihat akurasi secara keseluruhan. Kita juga harus mengaudit performa berdasarkan subgrup untuk memastikan model berperforma sama baik untuk setiap jenis, kelompok usia, dan {i>size group<i}.

Nanti di modul ini, di Evaluating for Bias, kita akan pelajari lebih lanjut berbagai metode untuk mengevaluasi model berdasarkan subkelompok.

Sebelumnya
Jenis bias (5 mnt)
Berikutnya
Mengurangi bias (5 mnt)