Saat menyiapkan data untuk pelatihan dan evaluasi model, Anda perlu ingatlah masalah-masalah keadilan dan audit untuk sumber-sumber potensial bias, sehingga Anda dapat secara proaktif memitigasi efeknya sebelum merilis model Anda ke dalam lingkungan production.
Di mana bias dapat muncul? Berikut adalah beberapa tanda merah yang harus diperhatikan dalam {i>dataset<i} Anda.
Nilai fitur tidak ada
Jika {i>dataset<i} Anda memiliki satu atau beberapa fitur dengan jumlah contoh, yang bisa menjadi indikator bahwa karakteristik utama tertentu dari {i>dataset<i} Anda kurang terwakili.
Latihan: Memeriksa pemahaman Anda
Anda menemukan bahwa 1.500 dari 5.000 contoh dalam set pelatihan adalah nilai temperamen yang hilang. Manakah di antara berikut ini yang merupakan sumber potensial bias yang harus Anda selidiki?
Nilai fitur yang tidak terduga
Saat menjelajahi data, Anda juga harus mencari contoh yang berisi nilai fitur yang menonjol dan sangat tidak karakteristik atau tidak biasa. Fitur tak terduga ini dapat mengindikasikan masalah yang terjadi selama pengumpulan data atau ketidakakuratan yang dapat menimbulkan bias.
Latihan: Memeriksa pemahaman Anda
Tinjau serangkaian contoh hipotesis berikut untuk melatih {i>rescue-dog<i} model adopsi.
ras | usia (thn) | berat (lbs) | temperamen | shedding_level |
---|---|---|---|---|
pudel mainan | 2 | 12 | bersemangat | rendah |
golden retriever | 7 | 65 | tenang | tinggi |
labrador retriever | 35 | 73 | tenang | tinggi |
Buldog prancis | 0,5 | 11 | tenang | sedang |
jenis campuran yang tidak diketahui | 4 | 45 | bersemangat | tinggi |
Basset Hound | 9 | 48 | tenang | sedang |
ras | usia (thn) | berat (lbs) | temperamen | shedding_level |
---|---|---|---|---|
pudel mainan | 2 | 12 | bersemangat | rendah |
golden retriever | 7 | 65 | tenang | tinggi |
labrador retriever | 35 | 73 | tenang | tinggi |
Buldog prancis | 0,5 | 11 | tenang | sedang |
jenis campuran yang tidak diketahui | 4 | 45 | bersemangat | tinggi |
Basset Hound | 9 | 48 | tenang | sedang |
tertua yang usianya diverifikasi oleh Guinness World Records adalah Bluey, seekor Ternak Australia yang hidup selama 29 tahun dan 5 bulan. Oleh karena itu, tampaknya sangat tidak masuk akal bahwa labrador retriever berusia 35 tahun, dan kemungkinan besar usia dihitung atau dicatat secara tidak akurat (mungkin anjingnya berusia 3,5 tahun). Error ini dapat juga menjadi indikasi masalah akurasi yang lebih luas dengan data usia dalam {i>dataset<i} yang memerlukan penyelidikan lebih lanjut.
Kemiringan data
Segala jenis penyimpangan dalam data Anda, di mana kelompok atau karakteristik tertentu mungkin kurang atau terlalu terwakili dibandingkan dengan prevalensi dunia nyata, dapat menghadirkan bias ke dalam model.
Saat mengaudit performa model, penting untuk tidak hanya melihat hasil pada agregat, tetapi untuk membagi hasil berdasarkan subkelompok. Misalnya, dalam kasus model adopsi {i>rescue-dog<i} kita, untuk memastikan keadilan, tidak cukup hanya cukup melihat akurasi secara keseluruhan. Kita juga harus mengaudit performa berdasarkan subgrup untuk memastikan model berperforma sama baik untuk setiap jenis, kelompok usia, dan {i>size group<i}.
Nanti di modul ini, di Evaluating for Bias, kita akan pelajari lebih lanjut berbagai metode untuk mengevaluasi model berdasarkan subkelompok.