Keadilan: Mengurangi bias

Pernah menjadi sumber bias telah diidentifikasi dalam data pelatihan, kita dapat mengambil langkah proaktif untuk memitigasi dampaknya. Ada dua strategi utama yang biasanya digunakan engineer machine learning (ML) untuk memperbaiki bias:

• Meningkatkan data pelatihan.
• Menyesuaikan fungsi loss model.

Memperkaya data pelatihan

Jika audit data pelatihan telah menemukan masalah terkait data yang tidak ada, salah, atau tidak seimbang, cara paling mudah untuk mengatasi masalah ini sering kali adalah mengumpulkan data tambahan.

Meskipun penambahan data pelatihan adalah ide yang ideal, sisi negatif dari pendekatan ini adalah bahwa hal itu juga tidak mungkin dilakukan, baik karena kurangnya data atau batasan sumber daya yang tersedia yang menghambat pengumpulan data. Misalnya, mengumpulkan lebih banyak data mungkin mahal, memakan waktu, atau tidak layak karena pembatasan hukum/privasi.

Menyesuaikan fungsi pengoptimalan model

Dalam kasus di mana pengumpulan data pelatihan tambahan tidak memungkinkan, pendekatan untuk memitigasi bias adalah menyesuaikan cara menghitung kerugian selama model pelatihan. Kami biasanya menggunakan fungsi pengoptimalan seperti kerugian log untuk mengganjar model yang salah terhadap prediksi yang di-output oleh model. Namun, kerugian log tidak membawa keanggotaan subgrup ke dalam pertimbangan. Jadi, daripada menggunakan log loss, kita dapat memilih fungsi pengoptimalan yang dirancang untuk menghukum error dengan cara yang adil dan melawan ketidakseimbangan yang telah kita identifikasi dalam data pelatihan.

Library TensorFlow Model Remediation menyediakan utilitas untuk menerapkan dua teknik mitigasi bias yang berbeda selama pelatihan model:

• MinDiff: MinDiff bertujuan menyeimbangkan error untuk dua bagian data yang berbeda (siswa laki-laki/perempuan versus non-biner) dengan menambahkan penalti untuk perbedaan distribusi prediksi pada kedua kelompok.

• Counterfactual Logit Pairing: Counterfactual Logit Pairing (CLP) bertujuan untuk memastikan bahwa mengubah atribut sensitif dari contoh tertentu tidak mengubah prediksi model untuk contoh tersebut. Misalnya, jika {i>dataset<i} pelatihan berisi dua contoh yang nilai fitur identik, kecuali yang memiliki nilai gender male dan yang lain memiliki nilai gender nonbinary, CLP akan menambahkan penalti jika prediksi untuk kedua contoh ini berbeda.

Teknik yang Anda pilih untuk menyesuaikan fungsi pengoptimalan adalah bergantung pada kasus penggunaan model. Pada bagian selanjutnya, kita akan melakukan mempelajari lebih lanjut pendekatan tugas untuk mengevaluasi keadilan model dengan mempertimbangkan kasus penggunaan tersebut.

Latihan: Memeriksa pemahaman Anda

Manakah dari pernyataan berikut ini yang benar mengenai teknik mitigasi bias?

MinDiff dan CLP menghukum perbedaan dalam performa model yang terkait dengan atribut sensitif

Kedua teknik ini bertujuan untuk mengurangi bias dengan menghukum error prediksi yang dihasilkan dari ketidakseimbangan dalam cara atribut sensitif direpresentasikan dalam data pelatihan.

Jika Anda mengurangi bias dengan menambahkan lebih banyak data pelatihan, Anda tidak boleh menerapkan MinDiff atau CLP selama pelatihan.

Meningkatkan data pelatihan dan menerapkan teknik seperti MinDiff atau CLP dapat saling melengkapi. Misalnya, seorang engineer ML mungkin dapat untuk mengumpulkan cukup data pelatihan tambahan guna mengurangi perbedaan performa aplikasi sebesar 30%, lalu menggunakan MinDiff untuk lebih mengurangi selisih 50% lainnya.

Menambahkan lebih banyak contoh ke set data pelatihan akan selalu membantu melawan bias dalam prediksi model.

Menambahkan lebih banyak contoh pelatihan adalah strategi yang efektif untuk mengurangi bias, tetapi komposisi data pelatihan baru penting. Jika contoh pelatihan tambahan menunjukkan ketidakseimbangan yang serupa dengan data asli, contoh tersebut mungkin tidak akan membantu mengurangi bias yang ada.

MinDiff menghukum perbedaan dalam keseluruhan distribusi prediksi untuk berbagai bagian data, sedangkan CLP menghukum perbedaan dalam prediksi untuk setiap pasangan contoh.

MinDiff mengatasi bias dengan menyelaraskan distribusi skor untuk dua sub-kelompok. CLP mengatasi bias dengan memastikan bahwa setiap contoh tidak diperlakukan secara berbeda hanya karena keanggotaan subgrupnya.

Istilah utama:

• Bias (etika/keadilan)
• Kerugian Log