Normalleştirme, fazla uyumu önlemek için modelin karmaşıklığını cezalandırmak anlamına gelir.
Kolaylık için Normalleştirme
Genelleştirme Eğrisi
Model Karmaşıklığına Ceza Verilmesi
- Mümkün olduğu durumlarda model karmaşıklığından kaçınmak istiyoruz.
- Bu fikri eğitim sırasında yaptığımız optimizasyona ekleyebiliriz.
- ampirik Risk Azaltma:
- düşük eğitim hatası hedeflenir
$$ \text{minimize: } Loss(Data\;|\;Model) $$
Model Karmaşıklığına Ceza Verilmesi
- Mümkün olduğu durumlarda model karmaşıklığından kaçınmak istiyoruz.
- Bu fikri eğitim sırasında yaptığımız optimizasyona ekleyebiliriz.
- Yapısal Risk Azaltma:
- düşük eğitim hatası hedeflenir
- karmaşıklık karşısında dengeyi kurarken
$$ \text{minimize: } Loss(Data\;|\;Model) + complexity(Model) $$
Normalleştirme
- Karmaşıklık(Model) nasıl tanımlanır?
Normalleştirme
- Karmaşıklık(Model) nasıl tanımlanır?
- Daha küçük ağırlıklar tercih et
Normalleştirme
- Karmaşıklık(Model) nasıl tanımlanır?
- Daha küçük ağırlıklar tercih et
- Bu değerden uzaklaşmanın bir maliyeti olacaktır
- Bu fikri L2 düzenlenmesi (sırt olarak da bilinir) yoluyla kodlayabilir.
- karmaşıklık(model) = ağırlıkların karelerinin toplamı
- Çok büyük ağırlıklara ceza uygular
- Doğrusal modeller için: Daha düz eğimleri tercih eder
- Bayes önceki:
- ağırlıklar sıfır civarında ortalanmalıdır
- ağırlıklar normal şekilde dağıtılmalıdır
L2 normalleştirmesiyle bir Kayıp İşlevi
$$ Loss(Data|Model) + \lambda \left(w_1^2 + \ldots + w_n^2 \right) $$
\(\text{Where:}\)
\(Loss\text{: Aims for low training error}\)
\(\lambda\text{: Scalar value that controls how weights are balanced}\)
\(w_1^2+\ldots+w_n^2\text{: Square of}\;L_2\;\text{norm}\)