Keadilan: Uji Pengetahuan Anda

1. Benar atau salah: Bias historis terjadi saat model dilatih menggunakan data lama.

   True

   Salah

2. Engineer melatih model regresi untuk memprediksi kandungan kalori makanan berdasarkan berbagai data fitur yang telah mereka salin dari situs resep di seluruh dunia, termasuk ukuran porsi, bahan, dan teknik penyiapan. Manakah dari masalah data berikut ini yang merupakan sumber potensial bias yang harus diselidiki lebih lanjut?

   Pilih sebanyak mungkin jawaban yang Anda inginkan.

   Sekitar 4.000 dari 40.000 contoh pelatihan tidak memiliki nilai untuk fitur "ukuran penayangan".

   Sekitar 5.000 contoh pelatihan memiliki pengukuran dalam satuan imperial (ons, pound, dll.), sedangkan 35.000 contoh lainnya memiliki pengukuran dalam satuan metrik (gram, liter, dll.).

   Sekitar 100 dari 40.000 contoh pelatihan memiliki nilai bahan yang tampaknya sangat mungkin salah (misalnya, 100 batang mentega).

   Beberapa makanan populer kurang terwakili dalam data pelatihan relatif terhadap makanan populer lainnya (misalnya, ada 200 contoh pelatihan untuk dosa, tetapi hanya 10 untuk pizza).

3. Model deteksi sarkasme dilatih pada 80.000 pesan teks: 40.000 pesan dikirim oleh orang dewasa (18 tahun ke atas) dan 40.000 pesan dikirim oleh anak di bawah umur (kurang dari 18 tahun). Model ini kemudian dievaluasi pada set pengujian 20.000 pesan: 10.000 dari orang dewasa dan 10.000 dari anak di bawah umur. Matriks konfusi berikut menunjukkan hasil untuk setiap kelompok (prediksi positif menandakan klasifikasi "sarkastik"; prediksi negatif menandakan klasifikasi "tidak sarkastik"):

   Dewasa

   Positif Benar (TP): 512	Positif Palsu (PP): 51
   Negatif Palsu (FN): 36	Negatif Benar (NB): 9401
   Presisi = TP/(TP + FP) = 0,909
   Recall = TP/(TP + FN) = 0,934

   Anak di bawah umur

   Positif Benar (TP): 2147	Positif Palsu (PP): 96
   Negatif Palsu (FN): 2177	Negatif Benar (NB): 5580
   Presisi = TP/(TP + FP) = 0,957
   Recall = TP/(TP + FN) = 0,497

   Manakah dari pernyataan berikut yang benar tentang performa set pengujian model?

   Pilih sebanyak mungkin jawaban yang Anda inginkan.

   Model ini berperforma lebih baik pada contoh dari orang dewasa daripada contoh dari anak di bawah umur.

   10.000 pesan yang dikirim oleh orang dewasa merupakan kumpulan data kelas tidak seimbang.

   10.000 pesan yang dikirim oleh anak di bawah umur merupakan set data kelas tidak seimbang.

   Sekitar 50% pesan yang dikirim oleh anak di bawah umur salah diklasifikasikan sebagai "sarkastik".

   Model ini gagal mengklasifikasikan sekitar 50% pesan sarkastik anak di bawah umur sebagai "sarkastik".

4. Manakah dari hipotesis berikut yang dapat menjelaskan perbedaan dalam kinerja subkelompok pada set pengujian untuk model deteksi sarkasme di atas?

   Pilih sebanyak mungkin jawaban yang Anda inginkan.

   Model ini terlalu sering memprediksi "sarkastik". Akibatnya, kesalahan yang terjadi saat mengklasifikasikan anak di bawah umur akan pesan teks, karena lebih banyak pesan sarkastik dari anak di bawah umur di set pengujian.

   Model ini dievaluasi pada contoh yang lebih negatif (tidak sarkastik) dari anak di bawah umur daripada dari orang dewasa, sehingga menghasilkan lebih banyak kesalahan untuk anak di bawah umur.

   Sarkasme dalam pesan teks anak di bawah umur lebih halus dan kecil kemungkinannya untuk ditandai oleh model.

   Jumlah pesan sarkastik yang sebenarnya jauh lebih sedikit dari orang dewasa dibandingkan dari anak di bawah umur. Jika model dievaluasi pada kumpulan pesan dewasa yang lebih seimbang di kelasnya, penarikannya mungkin turun untuk subgrup tersebut.

5. Para engineer sedang berupaya melatih ulang model sarkasme di atas untuk mengatasi inkonsistensi dalam akurasi deteksi sarkasme di seluruh demografi usia. Namun, model ini telah dirilis ke tahap produksi. Manakah dari strategi sementara berikut yang akan membantu memitigasi kesalahan dalam prediksi model?

   Membatasi penggunaan model hanya untuk pesan teks yang dikirim oleh anak di bawah umur.

   Menyesuaikan output model sehingga menampilkan "sarkastik" untuk semua pesan teks yang dikirim oleh anak di bawah umur, terlepas dari apa yang awalnya diprediksi oleh model.

   Ketika model memprediksi "tidak sarkastik" untuk pesan teks yang dikirim oleh anak di bawah umur, sesuaikan output sehingga model menampilkan nilai "tidak yakin".

Kirim jawaban