Regularisasi berarti mengganjar kompleksitas suatu model untuk mengurangi overfit.
Regularisasi untuk Kesederhanaan
Kurva Generalisasi
Menghukum Kompleksitas Model
- Kami ingin menghindari kompleksitas model jika memungkinkan.
- Kami dapat menerapkan ide ini ke dalam pengoptimalan yang kami lakukan selama pelatihan.
- Minimalisasi Risiko Empiris:
- bertujuan untuk error pelatihan rendah
$$ \text{minimize: } Loss(Data\;|\;Model) $$
Menghukum Kompleksitas Model
- Kami ingin menghindari kompleksitas model jika memungkinkan.
- Kami dapat menerapkan ide ini ke dalam pengoptimalan yang kami lakukan selama pelatihan.
- Minimalisasi Risiko Struktural:
- bertujuan untuk error pelatihan rendah
- sembari menyeimbangkan kompleksitas
$$ \text{minimize: } Loss(Data\;|\;Model) + complexity(Model) $$
Regularisasi
- Bagaimana cara menentukan kompleksitas(Model)?
Regularisasi
- Bagaimana cara menentukan kompleksitas(Model)?
- Pilih bobot yang lebih kecil
Regularisasi
- Bagaimana cara menentukan kompleksitas(Model)?
- Pilih bobot yang lebih kecil
- Menyimpang dari nilai ini akan menimbulkan biaya
- Dapat mengenkode ide ini melalui regularisasi L2 (alias batas)
- kompleksitas(model) = jumlah kuadrat bobot
- Mengganjar bobot yang sangat besar
- Untuk model linear: pilih lereng yang lebih datar
- Bayesian sebelumnya:
- bobot harus dipusatkan di sekitar nol
- bobot harus didistribusikan secara normal
Fungsi Kerugian dengan Regularisasi L2
$$ Loss(Data|Model) + \lambda \left(w_1^2 + \ldots + w_n^2 \right) $$
\(\text{Where:}\)
\(Loss\text{: Aims for low training error}\)
\(\lambda\text{: Scalar value that controls how weights are balanced}\)
\(w_1^2+\ldots+w_n^2\text{: Square of}\;L_2\;\text{norm}\)