Kayıp, bir modelin tahminlerinin ne kadar yanlış olduğunu açıklayan sayısal bir metriktir. Kayıp, modelin tahminleri ile gerçek etiketler arasındaki mesafeyi ölçer. Bir modeli eğitmenin amacı, kaybı en aza indirmek ve modeli mümkün olan en düşük değerine indirmektir.
Aşağıdaki resimde, kaybı veri noktalarından modele doğru çizilen oklarla görselleştirebilirsiniz. Oklar, modelin tahminlerinin gerçek değerlerden ne kadar uzak olduğunu gösterir.
Şekil 9. Kayıp, gerçek değerden tahmin edilen değere kadar ölçülür.
Kayıp mesafesi
İstatistik ve makine öğreniminde kayıp, tahmin edilen ve gerçek değerler arasındaki farkı ölçer. Kayıp, yöne değil, değerler arasındaki mesafeye odaklanır. Örneğin, bir model 2 değerini tahmin ediyorsa ancak gerçek değer 5 ise kaybın negatif -3 TL (2-5=-3 TL) olması önemli değildir. Bunun yerine, değerler arasındaki mesafenin 3 TL olması önemlidir. Bu nedenle, kaybı hesaplayan tüm yöntemler işareti kaldırır.
İşareti kaldırmanın en yaygın iki yöntemi şunlardır:
- Gerçek değer ile tahmin arasındaki farkın mutlak değerini alın.
- Gerçek değer ile tahmin arasındaki farkın karesi.
Kayıp türleri
Doğrusal regresyonda, aşağıdaki tabloda özetlenen dört ana kayıp türü vardır.
| Kayıp türü | Tanım | Denklem |
|---|---|---|
| L1 kaybı | Tahmin edilen değerler ile gerçek değerler arasındaki farkın mutlak değerlerinin toplamı. | $ ∑ | actual\ value - predicted\ value | $ |
| Ortalama mutlak hata (MAE) | Bir örnek grubundaki L1 kayıplarının ortalaması. | $ \frac{1}{N} ∑ | gerçek\ değer - tahmini\ değer | $ |
| L2 kaybı | Tahmini değerler ile gerçek değerler arasındaki kare farkının toplamı. | $ ∑(actual\ value - predicted\ value)^2 $ |
| Ortalama karesel hata (MSE) | Bir örnek grubundaki L2 kayıplarının ortalaması. | $ \frac{1}{N} ∑ (actual\ value - predicted\ value)^2 $ |
L1 kaybı ile L2 kaybı (veya MAE ile MSE) arasındaki işlevsel fark kare alma işlemidir. Tahmin ile etiket arasındaki fark büyük olduğunda, kare alma işlemi kaybı daha da büyütür. Fark küçük olduğunda (1'den az) kare alma işlemi, kaybı daha da küçük hale getirir.
Aynı anda birden fazla örnek işlenirken MAE veya MSE kullanılarak tüm örneklerdeki kayıpların ortalamasını almanızı öneririz.
Kayıp hesaplama örneği
Önceki en iyi uyum çizgisini kullanarak tek bir örnek için L2 kaybını hesaplayacağız. En iyi uyum çizgisinden ağırlık ve önyargı için aşağıdaki değerlere ulaştık:
- $ \small{Ağırlık: -3,6} $
- $ \small{Bias: 30} $
Model, 2.370 kiloluk bir arabanın galon başına 35 kilometrelik bir mesafeye gittiğini ancak gerçekte galon başına 37 kilometreye ulaştığını tahmin ederse L2 kaybını aşağıdaki şekilde hesaplarız:
| Değer | Denklem | Sonuç |
|---|---|---|
| Tahmin | $\small{bias + (weight * feature\ value)}$ $\small{30 + (-3,6*2,37)}$ |
$\small{21,5}$ |
| Gerçek değer | $ \small{ label } $ | \small{ 24 } TL |
| L2 kaybı | $ \small{ (tahmin - gerçek\ değer)^2} $ $\small{ (21,5 - 24)^2 }$ |
$\small{6.25}$ |
Bu örnekte, bu tek veri noktası için L2 kaybı 6,25'tir.
Kaybetme seçme
MAE mi yoksa MSE mi kullanacağınıza karar vermek, veri kümesine ve belirli tahminleri işleme şeklinize bağlı olabilir. Bir veri kümesindeki özellik değerleri genellikle farklı bir aralık içindedir. Örneğin, arabalar genellikle 2.000 ila 5.000 pound ağırlığındadır ve 1 galon benzinle 8 ila 50 mil yol kat eder. 8.000 pound ağırlığındaki bir araba veya 1 galon benzinle 100 mil yol giden bir araba, tipik aralığın dışındadır ve aykırı olarak kabul edilir.
Aykırı değer, bir modelin tahminlerinin gerçek değerlerden ne kadar uzak olduğunu da ifade edebilir. Örneğin, 1.360 kg ağırlığındaki bir araba veya 100 km'de 6,6 litre yakıt tüketen bir araba tipik aralıklardadır. Bununla birlikte, 900 kiloluk bir arabanın galon başına 40 mil yaptığı bir tahmin,modelin tahmini açısından aykırıdır. Çünkü model,900 kiloluk bir arabanın litre başına 18 ila 20 mil yol alacağını tahmin eder.
En iyi kayıp işlevini seçerken modelin aykırı değerleri nasıl ele almasını istediğinizi düşünün. Örneğin, MSE modeli aykırı değerlere daha fazla yaklaştırır, MAE ise bunu yapmaz. L2 kaybı, aykırı değerler için L1 kaybına kıyasla çok daha yüksek bir ceza uygular. Örneğin, aşağıdaki görüntülerde MAE kullanılarak eğitilmiş bir model ve MSE kullanılarak eğitilmiş bir model gösterilmektedir. Kırmızı çizgi, tahmin yapmak için kullanılacak tamamen eğitilmiş bir modeli temsil eder. Aykırı değerler, MAE ile eğitilen modele kıyasla MSE ile eğitilen modele daha yakındır.
Şekil 10. MSE ile eğitilen bir model, modeli aykırı değerlere yaklaştırır.
Şekil 11. MAE ile eğitilen bir model, aykırı değerlerden daha uzaktadır.
Model ile veriler arasındaki ilişkiye dikkat edin:
MSE. Model, aykırı değerlere daha yakın ancak diğer veri noktalarının çoğundan daha uzaktır.
MAE. Model, aykırı değerlerden daha uzakta, ancak diğer veri noktalarının çoğuna daha yakındır.
Öğrendiklerinizi test etme
Aşağıdaki iki konuyu ele alalım:
|
|