Doğrusal regresyon: Kayıp

Kayıp, şu sayısal metrikleri temsil eden sayısal bir metriktir: bir modelin tahminlerinin ne kadar yanlış olduğu hakkında bilgi edindiniz. Kayıp, modelin tahminleri ile gerçek veriler arasındaki mesafeyi ölçer. etiketler. Bir modeli eğitmenin amacı kaybı en aza indirmek ve modeli mümkün olan en düşük değere sahip olmak.

Aşağıdaki resimde kaybı, verilerden alınan oklar şeklinde görselleştirebilirsiniz. modeli işaret eder. Oklar, modelin tahminlerinin ne kadar uzak olduğunu gösterir anlamına gelir.

Şekil 9. Kayıp çizgileri veri noktalarını
modeli.

9. Şekil. Kayıp, gerçek değerden tahmin edilen değere kadar ölçülür.

Kayıp mesafesi

İstatistikler ve makine öğreniminde, kayıp her bir kullanıcı için ve gerçek değerleri ifade eder. Kayıp, değerler arasındaki mesafeye odaklanır, yönlendirmemesi gerekir. Örneğin, bir model 2 değerini tahmin ederse ancak gerçek değer 5, kaybın negatif $ -3 $ ($ 2-5=-3 $) olması önemli değildir. Bunun yerine, değerler arasındaki mesafe 3 TL olarak dikkate alınır. Dolayısıyla, Kaybı hesaplama yöntemleri işareti kaldırılır.

İşareti kaldırmak için en yaygın iki yöntem şunlardır:

  • Gerçek değer ile bir tahmindir.
  • Gerçek değer ile tahmin arasındaki farkı kareye alın.

Kayıp türleri

Doğrusal regresyonda, dört ana kayıp türü vardır ve bunlar aşağıdaki tabloda bulabilirsiniz.

Kayıp türü Tanım Denklem
L1 kaybı Farkın mutlak değerlerinin toplamı tahmin edilen değerler ile gerçek değerler arasında farklılık gösterir. ABD doları ∑ | gerçek\ değer - tahmini\ değer | ₺
Ortalama mutlak hata (MAE) Bir dizi örnek genelinde ortalama L1 kayıplarının ortalaması. $ \frac{1}{N} ∑ | gerçek\ değer - tahmini\ değer | ₺
L2 kaybı Farkın kareleri toplamı tahmin edilen değerler ile gerçek değerler arasında farklılık gösterir. $ ∑(gerçek\ değer - tahmini\ değer)^2 $
Ortalama karesel hata (MSE) Bir dizi örnek genelinde ortalama L2 kayıplarının ortalaması. $ \frac{1}{N} ∑ (gerçek\ değer - tahmini\ değer)^2 $

L1 kaybı ve L2 kaybı arasındaki işlevsel fark (veya MAE ile MSE arasında) kareye düşüyor. İkisi arasındaki fark büyükse kareye alma kaybı daha da büyük olur. fark küçüktür (1'den azdır), kareye alma kaybı daha da küçük hale getirir.

Aynı anda birden fazla örneği işlerken kayıpların ortalamasını almanızı öneririz. tüm örneklerde doğru şekilde uygulayabilirsiniz.

Kayıp hesaplama örneği

Önceki en uygun satırı kullanarak, L2 kaybını tek bir örnek için hesaplarız. Şuradan: en uygun satırda, ağırlık ve önyargı için aşağıdaki değerlere sahiptik:

  • $ \small{Ağırlık: -3,6} TL
  • $ \small{Önyargılar: 30} $

Model,2.370 kiloluk bir arabanın litre başına 35 km yol alacağını öngörüyorsa, ancak litre başına 24 mil gittiğinde L2 kaybını şöyle olur:

Değer Denklem Sonuç
Tahmin

$\small{önyargılar + (ağırlık * özellik\ değeri)}$

$\small{30 + (-3,6*2,37)}$

$\small{21,5}$
Gerçek değer $ \small{ label } $ \small{ 24 } TL
L2 kaybı

$ \small{ (tahmin - gerçek\ değer)^2} $

$\small{ (21,5 - 24)^2 }$

$\small{6.25}$

Bu örnekte, bu tek veri noktası için L2 kaybı 6,25'tir.

Mağlubiyeti seçme

MAE veya MSE'yi kullanıp kullanmayacağınıza karar vermek, veri kümesine ve belirli tahminleri ele almak istiyorsunuz. Veri kümesindeki çoğu özellik değeri genellikle belirli bir aralıkta yer alır. Örneğin, arabalar normalde 2000 ve 5.000 pound, litre başına 8 ila 80 mil yapabilirsiniz. 8.000 kiloluk bir araba, 160 km'lik (160 mil/galon) gelen bir araba normal aralığın dışındadır ve aykırı değer olarak kabul edilir.

Aykırı değer, bir modelin tahminlerinin gerçek tahminden ne kadar uzakta olduğunu da ifade edebilir. değerler. Örneğin, 900 kiloluk bir araba ya da galon başına 64 kilometre yol alan bir araba tipik aralıklarda. Fakat 1000 kiloluk bir arabanın 40 mil/galon, modelin tahmini açısından aykırıdır. Çünkü model,3.000 kiloluk bir arabanın 18 ila 18 kilometre arasında 32 kilometre/litre.

En iyi kayıp fonksiyonunu seçerken modelin nasıl ele almasını istediğinizi göz önünde bulundurun oluşturabilirsiniz. Örneğin, MSE modeli aykırı değerlere doğru daha çok, MAE ise çalışmaz. L2 kaybı, aykırı bir değer için L1 kaybı. Örneğin, aşağıdaki resimlerde MAE ve MSE ile eğitilmiş bir model kullanılıyor. Kırmızı çizgi, projenin tamamını eğitilmiş bir model olacak. Aykırı değerler daha yakın MAE ile eğitilen modele kıyasla MSE ile eğitilen modelin

Şekil 10. Model, aykırı değerlere doğru daha fazla eğilir.

10. Şekil. MSE ile eğitilen bir model, modeli aykırı değerlere yaklaştırır.

Şekil 11. Model, aykırı değerlerden daha uzakta eğimlidir.

Şekil 11. MAE ile eğitilen bir model, aykırı değerlerden daha uzaktadır.

Model ile veriler arasındaki ilişkiye dikkat edin:

  • MSE değerleridir. Model, aykırı değerlere daha yakındır ancak çoğundan veri noktası türü olduğunu unutmayın.

  • MAE. Model, aykırılardan daha uzaktır, ancak çoğu zaman veri noktası türü olduğunu unutmayın.

Öğrendiklerinizi kontrol edin

Aşağıdaki iki konuyu ele alalım:

10 puanlık bir tablo.
      Bir çizgi, noktanın 6'sından geçer. 2 puan 1 birim
      çizgi üstündedir; Diğer 2 nokta, çizginin 1 birim altında. 10 puanlık bir tablo. Bir çizgi koşusu
      8 puana kadar devam ediyor. 1 puan 2 birimdir
      çizgi üstündedir; Diğer 1 nokta, çizginin 2 birim altındadır.
Önceki grafiklerde gösterilen iki veri kümesinden hangileri daha yüksek Ortalama Kare Hatası (MSE)'ye sahip mi?
Veri kümesi, sol taraftadır.
Satırdaki altı örneğin toplam kaybı 0 olur. Dört satırdaki örnekler de çizginin çok dışındadır; ofsetlerinin karesini almak yine de düşük bir değer verir: $MSE = \frac{0^2 + 1^2 + 0^2 + 1^2 + 0^2 + 1^2 + 0^2 + 1^2 + 0^2 + 0^2} {10} = 0,4$
Sağdaki veri kümesi.
Satırdaki sekiz örnekte toplam 0 kaybı söz konusudur. Ancak, ancak iki noktayı doğru bulsa da, noktalar, aykırı noktalara göre çizgiden iki kat uzaktadır tıklayın. Kareli kayıp bu farkları artırır Dolayısıyla, iki ofset, bir ofsetten dört kat daha büyük bir kayba neden olur. $MSE = \frac{0^2 + 0^2 + 0^2 + 2^2 + 0^2 + 0^2 + 0^2 + 2^2 + 0^2 + 0^2} {10} = 0,8$
.