Regularisasi untuk Kepraktisan

Regularisasi berarti mengganjar kompleksitas suatu model untuk mengurangi overfit.

Regularisasi untuk Kesederhanaan

Fungsi kerugian untuk set pelatihan menurun secara bertahap. Sebaliknya, fungsi kerugian untuk set validasi menurun, tetapi kemudian mulai naik.
  • Kami ingin menghindari kompleksitas model jika memungkinkan.
  • Kami dapat menerapkan ide ini ke dalam pengoptimalan yang kami lakukan selama pelatihan.
  • Minimalisasi Risiko Empiris:
    • bertujuan untuk error pelatihan rendah

      • $$ \text{minimize: } Loss(Data\;|\;Model) $$

  • Kami ingin menghindari kompleksitas model jika memungkinkan.
  • Kami dapat menerapkan ide ini ke dalam pengoptimalan yang kami lakukan selama pelatihan.
  • Minimalisasi Risiko Struktural:
    • bertujuan untuk error pelatihan rendah
    • sembari menyeimbangkan kompleksitas

      • $$ \text{minimize: } Loss(Data\;|\;Model) + complexity(Model) $$

  • Bagaimana cara menentukan kompleksitas(Model)?
  • Bagaimana cara menentukan kompleksitas(Model)?
  • Pilih bobot yang lebih kecil
  • Bagaimana cara menentukan kompleksitas(Model)?
  • Pilih bobot yang lebih kecil
  • Menyimpang dari nilai ini akan menimbulkan biaya
  • Dapat mengenkode ide ini melalui regularisasi L2 (alias batas)
    • kompleksitas(model) = jumlah kuadrat bobot
    • Mengganjar bobot yang sangat besar
    • Untuk model linear: pilih lereng yang lebih datar
    • Bayesian sebelumnya:
      • bobot harus dipusatkan di sekitar nol
      • bobot harus didistribusikan secara normal

$$ Loss(Data|Model) + \lambda \left(w_1^2 + \ldots + w_n^2 \right) $$

\(\text{Where:}\)

\(Loss\text{: Aims for low training error}\) \(\lambda\text{: Scalar value that controls how weights are balanced}\) \(w_1^2+\ldots+w_n^2\text{: Square of}\;L_2\;\text{norm}\)

Sebelumnya
Latihan Playground: Overcrossing?
Berikutnya
Regularisasi L2