Halaman ini berisi istilah glosarium Kewajaran. Untuk semua istilah glosarium, klik di sini.
J
atribut
Sinonim dari fitur.
Dalam keadilan machine learning, atribut sering kali mengacu pada karakteristik yang berkaitan dengan individu.
bias otomatisasi
Ketika pengambil keputusan otomatis lebih memilih rekomendasi yang dibuat oleh sistem pengambilan keputusan otomatis daripada informasi yang dibuat tanpa otomatisasi, bahkan saat sistem pengambilan keputusan otomatis membuat kesalahan.
B
bias (etika/keadilan)
1. Stereotip, prasangka atau favoritisme terhadap beberapa hal, orang, atau kelompok dibandingkan yang lain. Bias ini dapat memengaruhi pengumpulan dan penafsiran data, desain sistem, dan cara pengguna berinteraksi dengan sistem. Bentuk-bentuk jenis bias ini meliputi:
- bias otomatisasi
- bias konfirmasi
- bias pelaku eksperimen
- bias atribusi golongan
- bias implisit
- bias dalam golongan
- bias homogenitas di luar golongan
2. Error sistematis yang diperkenalkan melalui prosedur pengambilan sampel atau pelaporan. Bentuk-bentuk jenis bias ini meliputi:
- bias cakupan
- bias non-respons
- bias partisipasi
- bias pelaporan
- bias pengambilan sampel
- bias pemilihan
Harap bedakan dengan istilah bias dalam model machine learning atau bias prediksi.
C
bias konfirmasi
Kecenderungan untuk mencari, menafsirkan, mendukung, dan mengingat informasi dengan cara yang mengkonfirmasi keyakinan atau hipotesis yang sudah ada sebelumnya. Developer machine learning mungkin secara tidak sengaja mengumpulkan atau melabeli data dengan cara yang memengaruhi hasil yang mendukung keyakinan mereka yang sudah ada. Bias konfirmasi merupakan bentuk dari bias implisit.
Bias pelaku eksperimen adalah bentuk bias konfirmasi yang mana pelaku eksperimen terus melatih model hingga hipotesis yang sudah ada sebelumnya dikonfirmasi.
keadilan kontrafaktual
Metrik keadilan yang memeriksa apakah pengklasifikasi memberikan hasil yang sama untuk satu individu seperti yang dilakukan untuk individu lain yang identik dengan yang pertama, kecuali dalam kaitannya dengan satu atau beberapa atribut sensitif. Mengevaluasi pengklasifikasi untuk keadilan kontrafaktual adalah salah satu metode untuk memunculkan sumber bias yang potensial dalam sebuah model.
Lihat "When Worlds Collide: Mengintegrasikan Different Counterfaktual Asumptions in Fairness" untuk diskusi yang lebih mendetail tentang keadilan kontrafaktual.
bias cakupan
Lihat bias seleksi.
D
kesetaraan demografis
Metrik keadilan yang terpenuhi jika hasil klasifikasi model tidak bergantung pada atribut sensitif tertentu.
Misalnya, jika Liliput dan Brobdingnagian mendaftar ke Universitas Glubbdubdrib, paritas demografis tercapai jika persentase Liliput yang diterima sama dengan persentase yang diterima Brobdingnagian, terlepas dari apakah satu grup rata-rata lebih memenuhi syarat daripada yang lain.
Berbeda dengan peluang yang sama dan kesamaan peluang, yang memungkinkan klasifikasi menghasilkan secara agregat untuk bergantung pada atribut sensitif, tetapi tidak mengizinkan hasil klasifikasi untuk label kebenaran dasar tertentu yang ditentukan untuk bergantung pada atribut sensitif. Lihat "Menyerang diskriminasi dengan machine learning yang lebih cerdas" untuk mendapatkan visualisasi yang mencari konsekuensi saat mengoptimalkan paritas demografis.
dampak yang berbeda
Membuat keputusan tentang orang-orang yang berdampak secara tidak proporsional terhadap subkelompok populasi yang berbeda. Hal ini biasanya mengacu pada situasi ketika proses pengambilan keputusan berbasis algoritma merugikan atau menguntungkan beberapa subgrup dibandingkan dengan subgrup lainnya.
Misalnya, algoritma yang menentukan kelayakan Lilliput untuk mendapatkan pinjaman rumah miniatur cenderung mengklasifikasikannya sebagai "tidak memenuhi syarat" jika alamat suratnya berisi kode pos tertentu. Jika Lilliputian Big-Endian lebih cenderung memiliki alamat surat dengan kode pos ini dibandingkan Lilliputian Little-Endian, algoritma ini dapat menghasilkan dampak yang berbeda.
Berbeda dengan perlakuan berbeda, yang berfokus pada perbedaan yang terjadi jika karakteristik subgrup adalah input eksplisit untuk proses pengambilan keputusan berbasis algoritma.
perlakuan yang berbeda
Memfaktorkan atribut sensitif subjek ke dalam proses pengambilan keputusan berbasis algoritma sehingga subgrup orang yang berbeda diperlakukan secara berbeda.
Misalnya, pertimbangkan algoritma yang menentukan kelayakan Lilliput untuk mendapatkan kredit pemilikan rumah mini berdasarkan data yang mereka berikan dalam permohonan pinjaman. Jika algoritma menggunakan afiliasi Lilliputian sebagai Big-Endian atau Little-Endian sebagai input, algoritma tersebut akan menerapkan perlakuan yang berbeda di sepanjang dimensi tersebut.
Berbeda dengan dampak yang berbeda, yang berfokus pada perbedaan dampak sosial dari keputusan algoritma pada subgrup, terlepas dari apakah subgrup tersebut merupakan input untuk model atau tidak.
E
kesetaraan peluang
Metrik keadilan untuk menilai apakah model memprediksi hasil yang diinginkan dengan sama baiknya untuk semua nilai atribut sensitif. Dengan kata lain, jika hasil yang diinginkan untuk suatu model adalah kelas positif, tujuannya adalah memiliki rasio positif benar yang sama untuk semua grup.
Kesetaraan peluang terkait dengan peluang yang sama, yang mengharuskan kedua rasio positif benar dan rasio positif palsu sama untuk semua grup.
Misalnya Universitas Glubbdubdrib mengizinkan Lilliput dan Brobdingnagians untuk mengikuti program matematika yang ketat. Sekolah menengah di Lilliput menawarkan kurikulum kelas matematika yang andal, dan sebagian besar siswanya memenuhi kualifikasi untuk program universitas. Sekolah menengah Brobdingnagians tidak menawarkan kelas matematika sama sekali, dan akibatnya, jauh lebih sedikit siswa yang memenuhi syarat. Kesetaraan peluang akan terpenuhi untuk label "diterima" yang dipilih sehubungan dengan kewarganegaraan (Lilliputian atau Brobdingnagian) jika siswa yang memenuhi syarat sama-sama cenderung diterima terlepas dari apakah mereka Lilliputian atau Brobdingnagian.
Misalnya, 100 Liliputian dan 100 Brobdingnagians mendaftar ke Glubbdubdrib University, dan keputusan penerimaan dibuat sebagai berikut:
Tabel 1. Pelamar Liliput (90% memenuhi syarat)
| Berkualitas | Tidak memenuhi syarat | |
|---|---|---|
| Diizinkan | 45 | 3 |
| Ditolak | 45 | 7 |
| Total | 90 | 10 |
|
Persentase siswa yang memenuhi syarat yang diterima: 45/90 = 50% Persentase siswa yang tidak memenuhi syarat yang ditolak: 7/10 = 70% Persentase total siswa Liliput yang diterima: (45+3)/100 = 48% |
||
Tabel 2. Pelamar pekerjaan brobdingnagian (10% memenuhi syarat):
| Berkualitas | Tidak memenuhi syarat | |
|---|---|---|
| Diizinkan | 5 | 9 |
| Ditolak | 5 | 81 |
| Total | 10 | 90 |
|
Persentase siswa yang memenuhi syarat yang diterima: 5/10 = 50% Persentase siswa yang tidak memenuhi syarat yang ditolak: 81/90 = 90% Persentase total siswa Brobdingnagian yang diterima: (5+9)/100 = 14% |
||
Contoh sebelumnya memenuhi kesetaraan peluang untuk diterima oleh siswa yang memenuhi syarat karena Lilliputian dan Brobdingnagians yang memenuhi syarat memiliki peluang 50% untuk diterima.
Meskipun kesetaraan peluang terpenuhi, dua metrik keadilan berikut tidak terpenuhi:
- paritas demografis: Liliput dan Brobdingnagian diterima di universitas dengan tarif yang berbeda-beda; 48% mahasiswa Liliput diterima, tetapi hanya 14% mahasiswa Brobdingnagian yang diterima.
- peluang disetarakan: Meskipun siswa Lilliputian dan Brobdingnagian yang memenuhi syarat memiliki peluang yang sama untuk diterima, batasan tambahan bahwa Lilliputian dan Brobdingnagian yang tidak memenuhi syarat sama-sama memiliki peluang ditolak yang sama tidaklah terpenuhi. Lilliput yang tidak memenuhi syarat memiliki rasio penolakan 70%, sedangkan Brobdingnagian yang tidak memenuhi syarat memiliki rasio penolakan 90%.
Lihat "Kesetaraan Peluang dalam Pembelajaran yang Diawasi" untuk diskusi yang lebih mendetail tentang kesetaraan peluang. Lihat juga "Menyerang diskriminasi dengan machine learning yang lebih cerdas" untuk mendapatkan visualisasi yang mencari konsekuensi saat mengoptimalkan kesetaraan peluang.
peluang yang disamakan
Metrik keadilan untuk menilai apakah model memprediksi hasil dengan cara yang sama untuk semua nilai atribut sensitif dengan memperhatikan kelas positif dan kelas negatif—bukan hanya satu kelas atau yang lainnya secara eksklusif. Dengan kata lain, rasio positif benar dan rasio negatif palsu harus sama untuk semua grup.
Peluang yang disamakan terkait dengan kesamaan peluang, yang hanya berfokus pada rasio error untuk satu kelas (positif atau negatif).
Misalnya, Glubbdubdrib University menerima orang Lilliput dan Brobdingnagians untuk mengikuti program matematika yang ketat. Sekolah menengah di Lilliput menawarkan kurikulum kelas matematika yang andal, dan sebagian besar siswanya memenuhi syarat untuk program universitas. Sekolah menengah Brobdingnagians tidak menawarkan kelas matematika sama sekali, dan akibatnya, jauh lebih sedikit siswanya yang memenuhi syarat. Peluang yang disamakan akan terpenuhi, apa pun pemohon adalah Liliput atau Brobdingnagian, jika memenuhi syarat, mereka memiliki kemungkinan sama untuk diterima di program, dan jika tidak memenuhi syarat, mereka sama-sama berpotensi ditolak.
Misalkan 100 Liliput dan 100 Brobdingnagian mendaftar ke Glubbdubdrib University, dan keputusan penerimaan dibuat sebagai berikut:
Tabel 3. Pelamar Liliput (90% memenuhi syarat)
| Berkualitas | Tidak memenuhi syarat | |
|---|---|---|
| Diizinkan | 45 | 2 |
| Ditolak | 45 | 8 |
| Total | 90 | 10 |
|
Persentase siswa yang memenuhi syarat yang diterima: 45/90 = 50% Persentase siswa yang tidak memenuhi syarat yang ditolak: 8/10 = 80% Persentase total siswa Liliput yang diterima: (45+2)/100 = 47% |
||
Tabel 4. Pelamar pekerjaan brobdingnagian (10% memenuhi syarat):
| Berkualitas | Tidak memenuhi syarat | |
|---|---|---|
| Diizinkan | 5 | 18 |
| Ditolak | 5 | 72 |
| Total | 10 | 90 |
|
Persentase siswa yang memenuhi syarat yang diterima: 5/10 = 50% Persentase siswa yang tidak memenuhi syarat yang ditolak: 72/90 = 80% Persentase total siswa Brobdingnagian yang diterima: (5+18)/100 = 23% |
||
Peluang yang disetarakan terpenuhi karena siswa Lilliputian dan Brobdingnagian yang memenuhi syarat memiliki peluang 50% untuk diterima, dan Lilliputian dan Brobdingnagian yang tidak memenuhi syarat memiliki peluang 80% untuk ditolak.
Peluang yang disamakan secara formal didefinisikan dalam "Kesetaraan Peluang dalam Pembelajaran yang Diawasi" sebagai berikut: "predator ringkasan memenuhi peluang yang disamakan sehubungan dengan atribut yang dilindungi dan hasil Y jika ? dan A independen, bersyarat pada Y."
bias pelaku eksperimen
Lihat bias konfirmasi.
F
batasan keadilan
Menerapkan batasan ke algoritma untuk memastikan satu atau beberapa definisi keadilan terpenuhi. Contoh batasan keadilan meliputi:- Pasca-pemrosesan output model Anda.
- Mengubah fungsi kerugian untuk menyertakan sanksi karena melanggar metrik keadilan.
- Menambahkan batasan matematika ke soal pengoptimalan secara langsung.
metrik keadilan
Definisi matematis tentang "keadilan" yang dapat diukur. Beberapa metrik keadilan yang umum digunakan mencakup:
Banyak metrik keadilan yang saling eksklusif; lihat inkompatibilitas metrik keadilan.
G
bias atribusi golongan
Dengan asumsi bahwa hal yang benar bagi seseorang juga benar bagi semua orang dalam kelompok itu. Efek dari bias atribusi kelompok dapat diperburuk jika pengambilan sampel praktis digunakan untuk pengumpulan data. Dalam sampel yang tidak representatif, atribusi dapat dibuat yang tidak mencerminkan realitas.
Lihat juga bias kehomogenan luar golongan dan bias dalam golongan.
H
bias historis
Jenis bias yang sudah ada di dunia dan telah masuk ke dalam set data. Bias ini cenderung mencerminkan stereotip budaya, ketidaksetaraan demografi, dan prasangka terhadap kelompok sosial tertentu.
Misalnya, pertimbangkan model klasifikasi yang memprediksi apakah pemohon pinjaman akan gagal membayar pinjamannya atau tidak, yang dilatih dengan data historis default pinjaman dari tahun 1980-an dari bank lokal di dua komunitas yang berbeda. Jika pemohon lama dari Komunitas A memiliki kemungkinan enam kali lebih besar untuk gagal membayar pinjamannya dibandingkan pemohon dari Komunitas B, model ini mungkin mempelajari bias historis yang menyebabkan model cenderung tidak menyetujui pinjaman di Komunitas A, meskipun kondisi historis yang menyebabkan tingkat default yang lebih tinggi di komunitas tersebut sudah tidak relevan lagi.
I
bias implisit
Secara otomatis membuat asosiasi atau asumsi berdasarkan model pikiran dan ingatan seseorang. Bias implisit dapat memengaruhi hal-hal berikut:
- Cara data dikumpulkan dan diklasifikasikan.
- Cara sistem machine learning dirancang dan dikembangkan.
Misalnya, saat membuat pengklasifikasi untuk mengidentifikasi foto pernikahan, insinyur dapat menggunakan keberadaan gaun putih di foto sebagai fitur. Namun, gaun putih telah menjadi kebiasaan hanya selama era tertentu dan di budaya tertentu.
Lihat juga bias konfirmasi.
ketidakcocokan metrik keadilan
Gagasan bahwa beberapa gagasan keadilan tidak kompatibel satu sama lain dan tidak dapat dipenuhi secara bersamaan. Akibatnya, tidak ada metrik universal tunggal untuk mengukur keadilan yang dapat diterapkan ke semua masalah ML.
Meskipun hal ini mungkin tampak mengecewakan, ketidaksesuaian metrik keadilan tidak berarti bahwa upaya keadilan tidak membuahkan hasil. Sebaliknya, hal ini menyarankan bahwa keadilan harus didefinisikan secara kontekstual untuk masalah ML tertentu, dengan tujuan untuk mencegah bahaya khusus untuk kasus penggunaannya.
Lihat "Tentang kemungkinan keadilan" untuk diskusi yang lebih mendetail tentang topik ini.
keadilan individu
Metrik keadilan yang memeriksa apakah individu yang serupa diklasifikasikan secara serupa atau tidak. Misalnya, Brobdingnagian Academy mungkin ingin memuaskan keadilan individu dengan memastikan bahwa dua siswa dengan nilai identik dan skor ujian standar sama-sama berpotensi untuk diterima di sekolah.
Perhatikan bahwa keadilan individual sepenuhnya bergantung pada cara Anda mendefinisikan "kesamaan" (dalam hal ini, nilai dan skor ujian), dan Anda dapat berisiko memperkenalkan masalah keadilan yang baru jika metrik kesamaan Anda melewatkan informasi penting (seperti ketelitian kurikulum siswa).
Lihat "Keadilan Melalui Awareness" untuk diskusi yang lebih mendetail tentang keadilan individu.
bias dalam golongan
Menunjukkan keberpihakan terhadap kelompok atau karakteristik seseorang. Jika penguji atau pelabel terdiri dari teman, keluarga, atau kolega developer machine learning, bias dalam kelompok dapat membatalkan pengujian produk atau set data.
Bias dalam golongan adalah bentuk bias atribusi golongan. Lihat juga bias homogenitas di luar golongan.
N
bias non-respons
Lihat bias seleksi.
O
bias homogenitas di luar golongan
Kecenderungan untuk melihat anggota di luar kelompok lebih mirip daripada anggota dalam kelompok ketika membandingkan sikap, nilai, ciri kepribadian, dan karakteristik lainnya. Dalam golongan mengacu pada orang yang berinteraksi dengan Anda secara rutin; luar golongan mengacu pada orang yang tidak berinteraksi dengan Anda secara berkala. Jika Anda membuat set data dengan meminta orang untuk memberikan atribut tentang luar kelompok, atribut tersebut mungkin kurang bernuansa dan lebih stereotip dibandingkan atribut yang dicantumkan peserta untuk orang-orang dalam kelompok mereka.
Misalnya, Liliput mungkin mendeskripsikan rumah Liliput lainnya secara sangat mendetail, dengan mengutip perbedaan kecil dalam gaya arsitektur, jendela, pintu, dan ukuran. Namun, Liliput yang sama mungkin hanya menyatakan bahwa semua Brobdingnagian tinggal di rumah yang identik.
Bias homogenitas luar golongan adalah bentuk bias atribusi golongan.
Lihat juga bias dalam golongan.
P
bias partisipasi
Sinonim untuk bias non-respons. Lihat bias seleksi.
pascapemrosesan
Menyesuaikan output model setelah model dijalankan. Pasca-pemrosesan dapat digunakan untuk menerapkan batasan keadilan tanpa mengubah model itu sendiri.
Misalnya, seseorang dapat menerapkan pascapemrosesan ke pengklasifikasi biner dengan menetapkan batas klasifikasi sehingga kesetaraan peluang dipertahankan untuk beberapa atribut dengan memeriksa bahwa rasio positif benar sama untuk semua nilai atribut tersebut.
paritas prediktif
Metrik keadilan yang memeriksa apakah, untuk pengklasifikasi tertentu, tarif presisi setara untuk subgrup yang sedang dipertimbangkan.
Misalnya, model yang memprediksi penerimaan perguruan tinggi akan memenuhi paritas prediktif untuk kewarganegaraan jika tingkat presisinya sama untuk Lilliputians dan Brobdingnagians.
Paritas prediktif kadang juga disebut paritas rasio prediktif.
Lihat "Penjelasan Keadilan" (bagian 3.2.1) untuk diskusi yang lebih mendetail tentang paritas prediktif.
paritas tarif prediktif
Nama lain untuk paritas prediktif.
pra-pemrosesan
Memproses data sebelum digunakan untuk melatih model. Prapemrosesan dapat sesederhana menghapus kata dari korpus teks bahasa Inggris yang tidak terjadi dalam kamus bahasa Inggris, atau bisa sekompleks mengekspresikan ulang titik data dengan cara menghilangkan sebanyak mungkin atribut yang terkait dengan atribut sensitif. Prapemrosesan dapat membantu memenuhi batasan keadilan.proxy (atribut sensitif)
Atribut yang digunakan sebagai pengganti untuk atribut sensitif. Misalnya, kode pos seseorang dapat digunakan sebagai proxy untuk pendapatan, ras, atau etnis mereka.R
bias pelaporan
Fakta bahwa frekuensi orang menulis tentang tindakan, hasil, atau properti bukanlah cerminan dari frekuensi mereka di dunia nyata atau sejauh mana properti merupakan karakteristik dari kelas individu. Bias pelaporan dapat memengaruhi komposisi data yang dipelajari oleh sistem machine learning.
Misalnya, dalam buku, kata tertawa lebih umum daripada bernapas. Model machine learning yang memperkirakan frekuensi relatif tertawa dan bernapas dari korpus buku mungkin akan menentukan bahwa tertawa lebih umum daripada bernapas.
S
bias sampling
Lihat bias seleksi.
bias seleksi
Error dalam kesimpulan yang diambil dari sampel data karena proses seleksi yang menghasilkan perbedaan sistematis antara sampel yang diamati dalam data dan yang tidak diamati. Berikut ini bentuk-bentuk bias seleksi:
- bias cakupan: Populasi yang direpresentasikan dalam set data tidak sesuai dengan populasi yang diprediksi oleh model machine learning.
- bias sampling: Data tidak dikumpulkan secara acak dari kelompok target.
- bias non-respons (disebut juga bias partisipasi): Pengguna dari kelompok tertentu memilih untuk tidak mengikuti survei dengan rasio yang berbeda dibandingkan dengan pengguna dari kelompok lain.
Misalnya, Anda membuat model machine learning yang memprediksi tingkat kepuasan orang terhadap film. Untuk mengumpulkan data pelatihan, Anda membagikan survei kepada semua orang di baris depan teater yang menayangkan film. Secara langsung, hal ini mungkin terdengar seperti cara yang wajar untuk mengumpulkan set data; namun, bentuk pengumpulan data ini dapat memperkenalkan bentuk-bentuk bias seleksi berikut:
- bias cakupan: Dengan mengambil sampel dari populasi yang memilih untuk menonton film, prediksi model Anda mungkin tidak akan digeneralisasi ke orang-orang yang belum mengungkapkan tingkat minat tersebut terhadap film tersebut.
- bias sampling: Alih-alih mengambil sampel secara acak dari populasi yang diinginkan (semua orang di film), Anda hanya mengambil sampel orang-orang di baris depan. Ada kemungkinan bahwa orang-orang yang duduk di baris depan lebih tertarik dengan film daripada orang-orang di baris lain.
- bias non-respons: Secara umum, orang dengan opini yang kuat cenderung merespons survei opsional lebih sering daripada orang dengan pendapat ringan. Karena survei film bersifat opsional, responsnya lebih mungkin membentuk distribusi bimodal daripada distribusi normal (berbentuk lonceng).
atribut sensitif
Atribut manusia yang mungkin diberi pertimbangan khusus karena alasan hukum, etika, sosial, atau pribadi.U
ketidaksadaran (pada atribut sensitif)
Situasi saat atribut sensitif ada, tetapi tidak disertakan dalam data pelatihan. Karena atribut sensitif sering berkorelasi dengan atribut lain dari data seseorang, model yang dilatih tanpa awareness tentang atribut sensitif masih dapat memiliki dampak yang berbeda sehubungan dengan atribut tersebut, atau melanggar batasan keadilan lainnya.