Misalnya, Anda memiliki model regresi logistik untuk deteksi email spam yang memprediksi nilai antara 0 dan 1, yang mewakili probabilitas bahwa email tertentu adalah spam. Prediksi 0,50 menunjukkan kemungkinan 50% bahwa email adalah spam, prediksi 0,75 menunjukkan kemungkinan 75% bahwa email adalah spam, dan seterusnya.
Anda ingin men-deploy model ini di aplikasi email untuk memfilter spam ke dalam folder email terpisah. Namun, untuk melakukannya, Anda perlu mengonversi output numerik
mentah model (misalnya, 0.75) menjadi salah satu dari dua kategori: "spam" atau "bukan
spam".
Untuk melakukan konversi ini, Anda memilih probabilitas nilai minimum, yang disebut
nilai minimum klasifikasi.
Contoh dengan probabilitas di atas nilai minimum kemudian ditetapkan
ke class positif,
class yang Anda uji (di sini, spam). Contoh dengan
probabilitas yang lebih rendah ditetapkan ke class negatif,
class alternatif (di sini, not spam).
Klik di sini untuk mengetahui detail selengkapnya tentang nilai minimum klasifikasi
Anda mungkin bertanya-tanya: apa yang terjadi jika skor yang diprediksi sama dengan nilai minimum klasifikasi (misalnya, skor 0,5 dengan nilai minimum klasifikasi juga 0,5)? Penanganan untuk kasus ini bergantung pada implementasi tertentu yang dipilih untuk model klasifikasi. Library Keras memprediksi class negatif jika skor dan nilai minimum sama, tetapi alat/framework lain dapat menangani kasus ini secara berbeda.
Misalnya, model memberi skor satu email sebagai 0,99, yang memprediksi bahwa email tersebut memiliki peluang 99% untuk menjadi spam, dan email lain sebagai 0,51, yang memprediksi bahwa email tersebut memiliki peluang 51% untuk menjadi spam. Jika Anda menetapkan batas klasifikasi ke 0,5, model akan mengklasifikasikan kedua email sebagai spam. Jika Anda menetapkan nilai minimum ke 0,95, hanya email yang memiliki skor 0,99 yang akan diklasifikasikan sebagai spam.
Meskipun 0,5 mungkin tampak seperti nilai minimum intuitif, sebaiknya jangan gunakan nilai ini jika biaya satu jenis klasifikasi yang salah lebih besar daripada yang lain, atau jika class tidak seimbang. Jika hanya 0,01% email yang merupakan spam, atau jika salah memasukkan email yang sah lebih buruk daripada membiarkan spam masuk ke kotak masuk, menandai apa pun yang dianggap model setidaknya 50% kemungkinan spam sebagai spam akan menghasilkan hasil yang tidak diinginkan.
Confusion matrix
Skor probabilitas bukanlah kenyataan, atau kebenaran dasar. Ada empat kemungkinan hasil untuk setiap output dari pengklasifikasi biner. Untuk contoh pengklasifikasi spam, jika Anda menata kebenaran dasar sebagai kolom dan prediksi model sebagai baris, maka hasilnya adalah tabel berikut yang disebut matriks konfusi:
| Positif aktual | Negatif sebenarnya | |
|---|---|---|
| Prediksi positif | Positif benar (TP): Email spam yang diklasifikasikan dengan benar sebagai email spam. Ini adalah pesan spam yang otomatis dikirim ke folder spam. | Positif palsu (PP): Email yang bukan spam salah diklasifikasikan sebagai spam. Ini adalah email sah yang berakhir di folder spam. |
| Prediksi negatif | Negatif palsu (NP): Email spam yang salah diklasifikasikan sebagai bukan spam. Ini adalah email spam yang tidak tertangkap oleh filter spam dan masuk ke kotak masuk. | Negatif benar (NB): Email bukan spam yang diklasifikasikan dengan benar sebagai bukan spam. Ini adalah email sah yang dikirim langsung ke kotak masuk. |
Perhatikan bahwa total di setiap baris memberikan semua positif yang diprediksi (TP + FP) dan semua prediksi negatif (FN + TN), terlepas dari validitasnya. Sementara itu, total di setiap kolom memberikan semua positif sebenarnya (TP + FN) dan semua negatif sebenarnya (FP + TN) terlepas dari klasifikasi model.
Jika total positif sebenarnya tidak mendekati total negatif aktual, set data tersebut tidak seimbang. Contoh set data yang tidak seimbang mungkin berupa kumpulan ribuan foto awan, dengan jenis awan langka yang Anda minati, misalnya, awan volutus, hanya muncul beberapa kali.
Pengaruh nilai minimum terhadap positif dan negatif benar dan palsu
Nilai minimum yang berbeda biasanya menghasilkan jumlah positif benar dan palsu, serta negatif benar dan palsu yang berbeda. Video berikut menjelaskan mengapa hal ini terjadi.
Coba ubah sendiri nilai minimumnya.
Widget ini menyertakan tiga set data mainan:
- Terpisah, di mana contoh positif dan contoh negatif umumnya berbeda dengan baik, dengan contoh paling positif memiliki skor lebih tinggi daripada contoh negatif.
- Tidak dipisahkan, dengan banyak contoh positif memiliki skor lebih rendah daripada contoh negatif, dan banyak contoh negatif memiliki skor lebih tinggi daripada contoh positif.
- Tidak seimbang, hanya berisi beberapa contoh class positif.