Akurasi
Pelajari opsi-opsi di bawah.
Dari skenario berikut, mana yang memiliki nilai akurasi tinggi dan menunjukkan bahwa model ML melakukan tugasnya dengan baik?
Kondisi medis yang mematikan, tetapi dapat disembuhkan, menyerang 0,01% dari populasi. Model ML menggunakan gejala sebagai fitur dan memprediksi penderitaan ini dengan akurasi 99,99%.
Akurasi adalah metrik yang buruk di sini. Lagi pula, model "bodoh"
yang selalu memprediksi "tidak sakit" akan tetap 99,99% akurat.
Salah memprediksi "tidak sakit" untuk orang yang benar-benar sakit
bisa mematikan.
Sebuah robot robot mahal melintasi jalan yang sangat sibuk
seribu kali per hari. Model ML mengevaluasi pola lalu lintas dan memprediksi kapan ayam ini dapat menyeberang jalan raya secara aman dengan akurasi 99,99%.
Nilai akurasi 99,99% pada jalan yang sangat sibuk menunjukkan bahwa model ML jauh lebih baik daripada peluang. Namun, di beberapa setelan, biaya untuk membuat sejumlah kecil kesalahan masih terlalu tinggi.
Akurasi 99,99% berarti ayam yang mahal harus diganti, rata-rata, setiap 10 hari. (Ayam tersebut juga dapat menyebabkan kerusakan yang luas pada mobil yang ditabraknya.)
Dalam game roulette, bola dilemparkan di atas roda yang berputar dan akhirnya mendarat di salah satu dari 38 slot. Dengan menggunakan fitur visual (putaran bola, posisi roda saat bola dijatuhkan, ketinggian bola di atas roda), model ML dapat memprediksi slot tempat bola akan mendarat dengan akurasi 4%.
Model ML ini membuat prediksi jauh lebih baik daripada peluang; tebakan acak akan benar 1/38—menghasilkan akurasi 2,6%.
Meskipun akurasi model "hanya" 4%, manfaat keberhasilan
jauh lebih besar daripada kerugian kegagalan.
Presisi
Pelajari opsi-opsi di bawah.
Pertimbangkan model klasifikasi yang memisahkan email menjadi dua kategori: "spam" atau "bukan spam." Jika Anda meningkatkan batas klasifikasi, apa yang akan terjadi pada presisi?
Tentu meningkat.
Meningkatkan batas klasifikasi biasanya akan meningkatkan presisi; tetapi, presisi tidak dijamin akan meningkat secara monoton seiring kita menaikkan batas tersebut.
Mungkin meningkat.
Secara umum, meningkatkan batas klasifikasi akan mengurangi positif palsu, sehingga meningkatkan presisi.
Mungkin menurun.
Secara umum, meningkatkan batas klasifikasi akan mengurangi positif palsu, sehingga meningkatkan presisi.
Tentu saja menurun.
Secara umum, meningkatkan batas klasifikasi akan mengurangi positif palsu, sehingga meningkatkan presisi.
Recall
Pelajari opsi-opsi di bawah.
Pertimbangkan model klasifikasi yang memisahkan email menjadi dua kategori: "spam" atau "bukan spam." Jika Anda meningkatkan batas klasifikasi, apa yang akan terjadi pada penarikan?
Selalu meningkat.
Meningkatkan batas klasifikasi akan menyebabkan kedua hal berikut:
- Jumlah positif benar akan berkurang atau tetap sama.
- Jumlah negatif palsu akan bertambah atau tetap sama.
Selalu kurangi atau tetap sama.
Meningkatkan batas klasifikasi akan menyebabkan jumlah positif benar menurun atau tetap sama dan akan menyebabkan jumlah negatif palsu bertambah atau tetap sama. Oleh karena itu,
penarikan akan tetap konstan atau menurun.
Selalu konstan.
Meningkatkan batas klasifikasi akan menyebabkan jumlah positif benar menurun atau tetap sama dan akan menyebabkan jumlah negatif palsu bertambah atau tetap sama. Oleh karena itu,
penarikan akan tetap konstan atau menurun.
Presisi dan Recall
Pelajari opsi-opsi di bawah.
Pertimbangkan dua model—A dan B—yang masing-masing mengevaluasi set data yang sama.
Manakah dari pernyataan berikut yang benar?
Jika Model A memiliki presisi yang lebih baik daripada model B, maka model A lebih baik.
Meskipun presisi yang lebih baik itu bagus, hal tersebut dapat menghasilkan pengurangan yang signifikan pada perolehan. Secara umum, kita perlu melihat baik presisi maupun perolehan, atau metrik ringkasan seperti AUC yang akan kita bahas berikutnya.
Jika model A memiliki perolehan yang lebih baik daripada model B, maka model A lebih baik.
Meskipun perolehan yang lebih baik itu bagus, hal tersebut mungkin akan mengorbankan pengurangan yang besar pada presisi. Secara umum, kita perlu melihat baik presisi maupun perolehan, atau metrik ringkasan seperti AUC, yang akan kita bahas berikutnya.
Jika model A memiliki presisi dan perolehan yang lebih baik daripada model B, maka model A mungkin lebih baik.
Secara umum, model yang mengungguli presisi dan perolehan model lain kemungkinan adalah model yang lebih baik. Tentunya,
kita perlu memastikan bahwa perbandingan dilakukan pada
titik presisi / penarikan yang berguna dalam praktik agar
hal ini bermakna. Misalnya, model deteksi spam kami
harus memiliki minimal 90% presisi agar dapat berguna dan menghindari
alarm palsu yang tidak perlu. Dalam hal ini, membandingkan
satu model dengan {presisi 20%, perolehan 99%} dibandingkan model lain pada
{presisi 15%, perolehan 98%} tidak terlalu informatif, karena
tidak ada model yang memenuhi persyaratan presisi 90%. Namun, dengan mempertimbangkan peringatan tersebut, ini adalah cara yang baik untuk berpikir tentang membandingkan model saat menggunakan presisi dan perolehan.