Mantıksal regresyon modellerin eğitilmesi için kullanılan, doğrusal regresyon modellerin iki temel farkı vardır:
- Mantıksal regresyon modelleri, Kayıp işlevi olarak Günlük Kaybı yerine kare kaybı yerine kullanır.
- Normalleştirme uygulama projenin yolunda gitmesini fazla uyum.
Aşağıdaki bölümlerde bu iki konu daha ayrıntılı olarak ele alınmaktadır.
Günlük Kaybı
Doğrusal regresyon modülünde, kare kaybı (diğer adıyla L2 kaybı) kayıp işlevi. Kareli kayıp, doğrusal bir yapıda çıkış değerleri değişim hızının sabit olduğu model. Örneğin, $y' doğrusal modeli verildiğinde = b + 3x_1$, girişi her artırdığınızda $x_1$ değerini 1 artırırsa, $y'$ çıkış değeri 3 artar.
Bununla birlikte, mantıksal bir regresyon modelinin değişim hızı sabit değildir. Olasılığı hesaplama bölümünde gördüğünüz gibi, sigmoid eğrisi s şekillidir 10-15 katı olduğundan emin olun. Log-odds ($z$) değeri 0'a yakın olduğunda, $z$ değerindeki artışlar, $z$ değerinin büyük bir değerken $y$ metriğinde çok daha büyük değişikliklere neden pozitif veya negatif bir sayı olmalıdır. Aşağıdaki tabloda sigmoid işlevinin ve karşılık gelen hassasiyet düzeyinin yanı sıra, 5 ile 10 arasındaki giriş değerleri için çıkış gereken en önemli şeydir.
| giriş | lojistik çıktı | gerekli hassasiyet haneleri |
|---|---|---|
| 5 | 0,993 | 3 |
| 6 | 0,997 | 3 |
| 7 | 0,999 | 3 |
| 8 | 0,9997 | 4 |
| 9 | 0,9999 | 4 |
| 10 | 0,99998 | 5 |
Sigmoid işlevi hatalarını hesaplamak için kare kaybı kullandıysanız
çıktı 0 ve 1 değerlerine yaklaştıkça bu durum için daha fazla belleğe
ihtiyacınız olacaktır.
bu değerleri izlemek için gereken hassasiyeti koruma
Bunun yerine, mantıksal regresyonun kayıp işlevi Günlük Kaybı. İlgili içeriği oluşturmak için kullanılan Logaritma denklemi, değişimin büyüklüğünün logaritmasını döndürür verilere ve tahminlere kadar olan mesafeden daha fazlasıdır. Günlük Kaybı şu şekilde hesaplanır: şöyle olur:
\(\text{Log Loss} = \sum_{(x,y)\in D} -y\log(y') - (1 - y)\log(1 - y')\)
Bu örnekte:
- \((x,y)\in D\) birçok etiketli örnek içeren veri kümesidir \((x,y)\) çift.
- \(y\) , etiketli bir örnekteki etikettir. Bu mantıksal regresyon olduğu için her \(y\) değeri 0 veya 1 olmalıdır.
- \(y'\) , seçilen erişim için modelinizin tahminidir (0 ile 1 arasında bir değer) özellik hakkındaki \(x\).
Mantıksal regresyonda normalleştirme
Normalleştirme: eğitim sırasında model karmaşıklığının cezalandırılması, lojistik ve regresyon modellemesidir. Normalleştirme olmadan lojistiğin asimptotik doğası regresyon, modelin bir değere sahip olduğu durumlarda, regresyon çok sayıda özellik içerir. Sonuç olarak, çoğu mantıksal regresyon modelinde aşağıdaki iki stratejiden yararlanarak modelin karmaşıklığını azaltmayı deneyin:
- L2 normalleştirmesi
- Erken durdurma: Kaybedildiğinde eğitimi durdurmak için eğitim adımlarının sayısını azalmaya devam ediyor.