Lebih dalam tentang ML: Pelatihan dan Kerugian

Melatih model berarti mempelajari (menentukan) bobot dan bias yang baik untuk nilai dari contoh berlabel. Dalam pembelajaran yang diawasi, algoritme machine learning membuat model dengan memeriksa banyak contoh dan mencoba menemukan model yang meminimalkan kerugian; proses ini disebut minimalisasi risiko empiris.

Kerugian merupakan akibat dari prediksi yang buruk. Artinya, kerugian adalah angka yang menunjukkan seberapa buruk prediksi model terhadap satu contoh. Jika prediksi model sempurna, kerugiannya adalah nol; jika tidak, kerugian akan lebih besar. Tujuan melatih model adalah untuk menemukan sekumpulan bobot dan bias yang rata-rata memiliki kerugian rendah di semua contoh. Misalnya, Gambar 3 menunjukkan model kerugian tinggi di sebelah kiri dan model kerugian rendah di sebelah kanan. Perhatikan hal-hal berikut tentang gambarnya:

  • Panah mewakili kerugian.
  • Garis biru mewakili prediksi.

Dua plot Cartesian, setiap plot menunjukkan sebuah garis dan beberapa titik data. Pada plot pertama, garisnya sangat tidak sesuai dengan data, sehingga kerugiannya tinggi. Pada plot kedua, garis ini lebih sesuai dengan data, sehingga kerugiannya rendah.

Gambar 3. Kerugian tinggi pada model kiri; kerugian rendah pada model kanan.

 

Perhatikan bahwa panah di plot kiri jauh lebih panjang daripada panah di plot kanan. Jelas, garis di plot kanan adalah model prediktif yang jauh lebih baik daripada garis di plot kiri.

Anda mungkin ingin tahu apakah Anda dapat membuat fungsi matematika—fungsi kerugian—yang akan menggabungkan kerugian individual dengan cara yang bermakna.

Model regresi linear yang akan kita uji di sini menggunakan fungsi kerugian yang disebut kerugian kuadrat (juga dikenal sebagai kerugian L2). Kerugian kuadrat untuk satu contoh adalah sebagai berikut:

  = the square of the difference between the label and the prediction
  = (observation - prediction(x))2
  = (y - y')2

Error persegi rata-rata (MSE) adalah rata-rata kerugian kuadrat per contoh di seluruh set data. Untuk menghitung MSE, jumlahkan semua kerugian kuadrat untuk setiap contoh, lalu bagi dengan jumlah contoh:

$$ MSE = \frac{1}{N} \sum_{(x,y)\in D} (y - prediction(x))^2 $$

dalam hal ini:

  • \((x, y)\) adalah contoh yang
    • \(x\) adalah serangkaian fitur (misalnya, bunyi kerik/menit, usia, gender) yang digunakan model untuk membuat prediksi.
    • \(y\) adalah contoh label (misalnya suhu).
  • \(prediction(x)\) adalah fungsi bobot dan bias yang dikombinasikan dengan serangkaian fitur \(x\).
  • \(D\) adalah set data yang berisi banyak contoh berlabel, yang berpasangan \((x, y)\) .
  • \(N\) adalah jumlah contoh dalam \(D\).

Meskipun umumnya digunakan dalam machine learning, MSE bukanlah satu-satunya fungsi kerugian praktis atau fungsi kerugian terbaik untuk semua situasi.

 

Sebelumnya
Regresi Linear
Berikutnya
Periksa Pemahaman Anda