Basitlik için normalleştirme

Normalleştirme, fazla uyumu önlemek için modelin karmaşıklığını cezalandırmak anlamına gelir.

Kolaylık için Normalleştirme

Eğitim setinin kayıp işlevi kademeli olarak azalır. Buna karşılık, doğrulama grubuna ilişkin kayıp işlevi azalır, ancak daha sonra yükselmeye başlar.
  • Mümkün olduğu durumlarda model karmaşıklığından kaçınmak istiyoruz.
  • Bu fikri eğitim sırasında yaptığımız optimizasyona ekleyebiliriz.
  • ampirik Risk Azaltma:
    • düşük eğitim hatası hedeflenir

      • $$ \text{minimize: } Loss(Data\;|\;Model) $$

  • Mümkün olduğu durumlarda model karmaşıklığından kaçınmak istiyoruz.
  • Bu fikri eğitim sırasında yaptığımız optimizasyona ekleyebiliriz.
  • Yapısal Risk Azaltma:
    • düşük eğitim hatası hedeflenir
    • karmaşıklık karşısında dengeyi kurarken

      • $$ \text{minimize: } Loss(Data\;|\;Model) + complexity(Model) $$

  • Karmaşıklık(Model) nasıl tanımlanır?
  • Karmaşıklık(Model) nasıl tanımlanır?
  • Daha küçük ağırlıklar tercih et
  • Karmaşıklık(Model) nasıl tanımlanır?
  • Daha küçük ağırlıklar tercih et
  • Bu değerden uzaklaşmanın bir maliyeti olacaktır
  • Bu fikri L2 düzenlenmesi (sırt olarak da bilinir) yoluyla kodlayabilir.
    • karmaşıklık(model) = ağırlıkların karelerinin toplamı
    • Çok büyük ağırlıklara ceza uygular
    • Doğrusal modeller için: Daha düz eğimleri tercih eder
    • Bayes önceki:
      • ağırlıklar sıfır civarında ortalanmalıdır
      • ağırlıklar normal şekilde dağıtılmalıdır

$$ Loss(Data|Model) + \lambda \left(w_1^2 + \ldots + w_n^2 \right) $$

\(\text{Where:}\)

\(Loss\text{: Aims for low training error}\) \(\lambda\text{: Scalar value that controls how weights are balanced}\) \(w_1^2+\ldots+w_n^2\text{: Square of}\;L_2\;\text{norm}\)

Önceki
Oyun Alanı Alıştırması: Çapraz mı?
Sonraki
L2 Normalleştirme