Kehilangan adalah metrik numerik yang menjelaskan seberapa salah prediksi model alamat IP internalnya. Kerugian mengukur jarak antara prediksi model dan prediksi label. Tujuan melatih model adalah untuk meminimalkan kerugian, menguranginya yang serendah mungkin.
Pada gambar berikut, Anda dapat memvisualisasikan kerugian sebagai panah yang diambil dari data mengarah ke model. Panah menunjukkan seberapa jauh prediksi model dari nilai sebenarnya.
Gambar 9. Kerugian diukur dari nilai aktual hingga nilai prediksi.
Jarak kerugian
Dalam statistik dan machine learning, kerugian mengukur perbedaan antara nilai aktual dan prediksi. Kerugian berfokus pada jarak antar nilai, bukan arahnya. Misalnya, jika model memprediksi 2, tetapi nilai sebenarnya adalah 5, kita tidak peduli jika kerugiannya negatif $ -3 $ ($ 2-5=-3 $). Sebagai gantinya, kita peduli bahwa jarak antarnilai adalah $ 3 $. Dengan demikian, semua metode untuk menghitung kerugian menghapus tanda itu.
Dua metode yang paling umum untuk menghapus tanda adalah sebagai berikut:
- Ambil nilai absolut dari selisih antara nilai sebenarnya dan prediksi.
- Kuadratkan selisih antara nilai sebenarnya dan prediksi.
Jenis kerugian
Dalam regresi linier, ada empat jenis kerugian utama, yang diuraikan dalam pada tabel berikut.
| Jenis kehilangan | Definisi | Persamaan |
|---|---|---|
| Penurunan1 | Jumlah nilai absolut dari selisih antara nilai yang diprediksi dan nilai sebenarnya. | $ ∑ | nilai aktual\ - nilai\ yang diprediksi | Rp |
| Rata-rata error absolut (MAE) | Rata-rata kerugian L1 di sekumpulan contoh. | $ \frac{1}{N} ∑ | nilai aktual\ - nilai\ yang diprediksi | Rp |
| K2 kalah | Jumlah selisih kuadrat antara nilai yang diprediksi dan nilai sebenarnya. | $ ∑(nilai aktual\ - nilai\ prediksi)^2 $ |
| Rata-rata error kuadrat (MSE) | Rata-rata kerugian L2 di sekumpulan contoh. | $ \frac{1}{N} ∑ (nilai\aktual\ - nilai\ terprediksi)^2 $ |
Perbedaan fungsional antara kerugian L1 dan kerugian L2 (atau antara MAE dan MSE) adalah kuadrat. Ketika perbedaan antara prediksi dan labelnya besar, pengkuadrat membuat kerugian semakin besar. Jika perbedaannya kecil (kurang dari 1), mengkuadratkan membuat kerugian semakin kecil.
Saat memproses beberapa contoh sekaligus, sebaiknya Anda menghitung rata-rata kerugian di semua contoh, baik menggunakan MAE atau MSE.
Contoh menghitung kerugian
Menggunakan garis yang paling sesuai sebelumnya, kita akan menghitung kerugian L2 untuk satu contoh. Dari garis yang paling sesuai, kita memiliki nilai berikut untuk bobot dan bias:
- $ \small{Berat: -3,6} $
- $ \small{Bias: 30} $
Jika model itu memprediksi bahwa mobil seberat 2.370 pon menjadi 21,5 mil per galon, tetapi yang sebenarnya mendapatkan 24 mil per galon, kita hitung kerugian L2 sebagai berikut ini:
| Nilai | Persamaan | Hasil |
|---|---|---|
| Prediksi | $\small{bias + (bobot * fitur\ nilai)}$ $\small{30 + (-3,6*2,37)}$ |
$\small{21,5}$ |
| Nilai sebenarnya | $ \small{ label } $ | $ \small{ 24 } $ |
| Kerugian L2 | $ \small{ (prediksi - nilai\aktual)^2} $ $\small{ (21,5 - 24)^2 }$ |
$\small{6,25}$ |
Dalam contoh ini, kerugian L2 untuk titik data tunggal tersebut adalah 6,25.
Memilih kerugian
Memutuskan apakah akan menggunakan MAE atau MSE dapat tergantung pada {i>dataset<i} dan cara Anda ingin menangani prediksi tertentu. Sebagian besar nilai fitur dalam set data biasanya berada dalam rentang yang berbeda. Misalnya, mobil biasanya antara tahun 2000 dan 5000 pound dan mendapatkan antara 8 hingga 50 mil per galon. Sebuah mobil seberat 8.000 pon, atau mobil yang mencapai 100 mil per galon, berada di luar jangkauan biasanya dan akan dianggap sebagai outlier.
{i>Outlier <i}juga dapat mengacu pada seberapa jauh prediksi model dari masing-masing. Misalnya, mobil seberat 3.000 pound atau mobil yang mencapai 40 mil per galon berada dalam rentang standar. Namun, mobil seberat 3.000 pon 40 mil per galon akan menjadi pencilan dalam hal prediksi model karena model itu akan memprediksi bahwa mobil seberat 3.000 pon akan berjalan antara 18 dan 20 mil per galon.
Saat memilih fungsi kerugian terbaik, pertimbangkan bagaimana Anda ingin model memperlakukan yang berbeda. Misalnya, MSE menggerakkan model lebih ke arah pencilan, sementara MAE tidak. Kerugian L2 menimbulkan penalti yang jauh lebih tinggi untuk pencilan daripada Kerugian L1. Misalnya, gambar berikut menunjukkan model yang dilatih menggunakan MAE dan model yang dilatih menggunakan MSE. Garis merah mewakili terlatih yang akan digunakan untuk membuat prediksi. {i>Outlier <i}lebih dekat dengan model yang dilatih dengan MSE daripada model yang dilatih dengan MAE.
Gambar 10. Model yang dilatih dengan MSE memindahkan model lebih dekat ke pencilan.
Gambar 11. Model yang dilatih dengan MAE lebih jauh dari pencilan.
Perhatikan hubungan antara model dan data:
MSE. Model ini lebih dekat dengan pencilan, tetapi lebih jauh dari sebagian besar titik data lainnya.
MAE. Model ini lebih jauh dari pencilan (outlier), tetapi lebih mendekati ke sebagian besar data titik data lainnya.
Memeriksa Pemahaman Anda
Pertimbangkan dua plot berikut:
|
|