Fazla uyum: Kayıp eğrilerini yorumlama

Tüm kayıp eğrileriniz modelinizi ilk kez eğittiğinizde aşağıdaki gibi görünseydi makine öğrenimi çok daha basit olurdu:

Şekil 20. Makine öğrenimi modelini eğitirken ideal kayıp eğrisini gösteren bir grafik. Kayıp eğrisi, y-eksenindeki kaybı x-eksenindeki eğitim adımlarının sayısına göre gösterir. Eğitim adımlarının sayısı arttıkça kayıp yüksek başlar, ardından katlanarak azalır ve en sonunda minimum kayıba ulaşacak şekilde düz bir çizgiye ulaşır.
Şekil 20. İdeal bir kayıp eğrisi.

Maalesef kayıp eğrilerinin yorumlanması genellikle zordur. Bu sayfadaki alıştırmaları çözmek için kayıp eğrileri hakkındaki sezgilerinizi kullanın.

1. Alıştırma: Salınım gösteren kayıp eğrisi

Şekil 21. Kaybın düzleşmediği bir kayıp eğrisi (y ekseninde kayıp; x ekseninde eğitim adımlarının sayısı). Bunun yerine, kayıp düzensiz bir şekilde salınır.
Şekil 21. Salınımlı kayıp eğrisi.
Şekil 21'de gösterilen kayıp eğrisini iyileştirmek için üç şey yapabilirsiniz.
Kötü örnekleri tespit etmek için verilerinizi bir veri şemasıyla karşılaştırın ve ardından kötü örnekleri eğitim veri kümesinden kaldırın.
Evet, bu tüm modeller için iyi bir uygulamadır.
Öğrenme hızını düşürün.
Evet, eğitim sorunuyla ilgili hata ayıklama yaparken genellikle öğrenme hızını azaltmak iyi bir fikirdir.
Eğitim kümesini güvenilir örneklerin çok küçük bir sayısına indirin.
Bu teknik yapay gibi görünse de aslında iyi bir fikirdir. Modelin güvenilir örneklerden oluşan küçük bir grupta birleştiğini varsayarak kademeli olarak daha fazla örnek ekleyebilirsiniz. Böylece, hangi örneklerin kayıp eğrisinin dalgalanmasına neden olduğunu keşfedebilirsiniz.
Eğitim veri kümesindeki örnek sayısını artırın.
Bu cazip bir fikir olsa da sorunu çözme olasılığı çok düşüktür.
Öğrenme hızını artırın.
Genel olarak, bir modelin öğrenme eğrisi bir sorun gösterdiğinde öğrenme hızını artırmaktan kaçının.

2. alıştırma. Keskin bir sıçrama gösteren kayıp eğrisi

Şekil 22. Kaybın belirli bir eğitim adımı sayısına kadar azaldığını ve daha sonra sonraki eğitim adımlarıyla aniden arttığını gösteren bir kayıp eğrisi grafiği.
Şekil 22. Kaybınızda keskin bir artış.
Aşağıdaki ifadelerden hangi ikisi, Şekil 22'de gösterilen patlama şeklindeki kaybın olası nedenlerini tanımlar?
Giriş verileri bir veya daha fazla NaN içeriyor (örneğin, sıfıra bölme işleminin neden olduğu bir değer).
Bu durum, sandığınızdan daha sık görülür.
Giriş verileri çok sayıda aykırı değer içeriyor.
Bazen, grupların yanlış karıştırılması nedeniyle bir grupta çok fazla aykırı değer bulunabilir.
Öğrenme hızı çok düşük.
Çok düşük bir öğrenme hızı eğitim süresini uzatabilir ancak bu, garip kayıp eğrisinin nedeni değildir.
Normalleştirme oranı çok yüksek.
Doğru, çok yüksek bir normalleştirme bir modelin birleşmesini önleyebilir; ancak Şekil 22'de gösterilen garip kayıp eğrisine neden olmaz.

3. alıştırma. Test kaybı, eğitim kaybından farklı

Şekil 23. Eğitim kaybı eğrisi birleşiyor gibi görünüyor ancak belirli sayıda eğitim adımı sonrasında doğrulama kaybı yükselmeye başlıyor.
Şekil 23. Doğrulama kaybında keskin bir artış.
Aşağıdaki ifadelerden hangisi, eğitim ve test veri kümelerinin kayıp eğrileri arasındaki bu farkın nedenini en iyi şekilde tanımlar?
Model, eğitim veri kümesine fazla uyum sağlıyor.
Evet, muhtemelen. Olası çözümler:
  • Modeli daha basit hale getirin (ör. özellik sayısını azaltarak).
  • Normalleştirme oranını artırın.
  • Eğitim veri kümesinin ve test veri kümesinin istatistiksel olarak eşdeğer olduğundan emin olun.
Öğrenme hızı çok yüksek.
Öğrenme hızı çok yüksek olsaydı eğitim veri kümesinin kayıp eğrisi muhtemelen bu şekilde davranmazdı.

4. alıştırma. Kayıp eğrisi takılıyor

Şekil 24. Eğitimle birlikte kaybın yakınlaşmaya başladığını ancak daha sonra dikdörtgen dalgaya benzeyen tekrarlanan kalıplar gösterdiğini gösteren bir kayıp eğrisi grafiği.
Şekil 24. Belirli sayıda adımdan sonra kaotik kayıp.
Şekil 24'te gösterilen düzensiz kayıp eğrisinin en olası açıklaması aşağıdaki ifadelerden hangisi?
Eğitim kümesi, tekrarlanan örnek dizileri içeriyor.
Bu bir olasılıktır. Örnekleri yeterince karıştırdığınızdan emin olun.
Normalleştirme oranı çok yüksek.
Bunun nedeni olma olasılığı düşüktür.
Eğitim veri kümesi çok fazla özellik içeriyor.
Bunun nedeni olma olasılığı düşüktür.
Önceki
L2 normalleştirmesi (10 dk)
Sonraki
Bilginizi test edin (10 dk.)