Keadilan: Mengurangi bias

Pernah menjadi sumber bias telah diidentifikasi dalam data pelatihan, kita dapat mengambil langkah proaktif untuk memitigasi dampaknya. Ada dua strategi utama bahwa machine learning (ML) yang biasa digunakan insinyur/perekayasa untuk memperbaiki bias:

  • Meningkatkan data pelatihan.
  • Menyesuaikan fungsi kerugian model.

Memperkaya data pelatihan

Jika audit data pelatihan telah menemukan masalah terkait data pelatihan yang hilang, atau data yang condong, cara paling mudah untuk mengatasi masalah itu adalah untuk mengumpulkan data tambahan.

Meskipun penambahan data pelatihan adalah ide yang ideal, sisi negatif dari pendekatan ini adalah bahwa hal itu juga tidak mungkin dilakukan, baik karena kurangnya data atau batasan sumber daya yang tersedia yang menghambat pengumpulan data. Misalnya, mengumpulkan lebih banyak data mungkin mahal, memakan waktu, atau tidak layak karena pembatasan hukum/privasi.

Menyesuaikan fungsi pengoptimalan model

Dalam kasus di mana pengumpulan data pelatihan tambahan tidak memungkinkan, pendekatan untuk memitigasi bias adalah menyesuaikan cara menghitung kerugian selama model pelatihan. Kami biasanya menggunakan fungsi pengoptimalan seperti kerugian log untuk mengganjar model yang salah terhadap prediksi yang di-output oleh model. Namun, kerugian log tidak membawa keanggotaan subgrup ke dalam pertimbangan. Jadi, alih-alih menggunakan kerugian log, kita dapat memilih yang dirancang untuk menghukum kesalahan dengan cara yang sadar keadilan yang melawan ketidakseimbangan yang telah kita identifikasi dalam data pelatihan.

Library TensorFlow Model Remediation menyediakan utilitas untuk menerapkan dua berbagai teknik mitigasi bias selama pelatihan model:

  • MinDiff: MinDiff bertujuan menyeimbangkan error untuk dua bagian data yang berbeda (siswa laki-laki/perempuan versus non-biner) dengan menambahkan penalti untuk perbedaan distribusi prediksi pada kedua kelompok.

  • Penyambungan Logit Kontrafaktual: Counterfactual Logit Pairing (CLP) bertujuan untuk memastikan bahwa mengubah dari contoh tertentu tidak mengubah prediksi model untuk atribut tersebut contoh. Misalnya, jika {i>dataset<i} pelatihan berisi dua contoh yang nilai fitur identik, kecuali yang memiliki nilai gender male dan yang lain memiliki nilai gender nonbinary, CLP akan menambahkan penalti jika prediksi untuk kedua contoh ini berbeda.

Teknik yang Anda pilih untuk menyesuaikan fungsi pengoptimalan adalah bergantung pada kasus penggunaan model. Pada bagian selanjutnya, kita akan melakukan mempelajari lebih lanjut pendekatan tugas untuk mengevaluasi keadilan model dengan mempertimbangkan kasus penggunaan tersebut.

Latihan: Memeriksa pemahaman Anda

Manakah dari pernyataan berikut ini yang benar mengenai teknik mitigasi bias?
MinDiff dan CLP menyebabkan perbedaan performa model terkait dengan atribut sensitif
Kedua teknik ini bertujuan untuk memitigasi bias dengan mengganjar prediksi kesalahan yang dihasilkan dari ketidakseimbangan tentang seberapa sensitif atribut direpresentasikan dalam data pelatihan.
MinDiff menghukum perbedaan dalam distribusi keseluruhan prediksi untuk potongan data yang berbeda, sedangkan CLP menghukum perbedaan prediksi untuk pasangan contoh individu.
MinDiff mengatasi bias dengan menyelaraskan distribusi skor untuk dua sub-kelompok. CLP mengatasi bias dengan memastikan bahwa setiap contoh tidak diperlakukan secara berbeda hanya karena keanggotaan subgrup mereka.
Menambahkan lebih banyak contoh ke {i>dataset<i} pelatihan akan selalu membantu menangkal bias dalam prediksi model.
Menambahkan lebih banyak contoh pelatihan adalah strategi yang efektif untuk mengurangi bias, tetapi komposisi data pelatihan yang baru itu penting. Jika contoh pelatihan tambahan menunjukkan ketidakseimbangan dengan data asli, mereka mungkin tidak akan membantu mengurangi bias yang ada.
Jika Anda mengurangi bias dengan menambahkan lebih banyak data pelatihan, Anda tidak boleh menerapkan MinDiff atau CLP selama pelatihan.
Meningkatkan data pelatihan dan menerapkan teknik seperti MinDiff atau CLP dapat saling melengkapi. Misalnya, seorang engineer ML mungkin dapat untuk mengumpulkan cukup data pelatihan tambahan guna mengurangi perbedaan sebesar 30%, lalu menggunakan MinDiff untuk lebih mengurangi selisih 50% lainnya.
Sebelumnya
Mengidentifikasi bias (10 mnt)
Berikutnya
Mengevaluasi bias (5 mnt)