Fazla uyum: Kayıp eğrilerini yorumlama

Projedeki tüm becerileriniz kayıp eğrileri modelinizi ilk kez eğittiğinizde aşağıdaki gibi görünüyordu:

Şekil 20. Eğitim sırasında ideal kayıp eğrisini gösteren bir grafik modelimiz Gemini Nano. Kayıp eğrisi, kaybı y ekseninde gösterir ve x eksenindeki eğitim adımı sayısına karşılık gelir. Numara olarak eğitim adımı artar, kayıp yüksek başlar ve azalır üstel olarak ilerler ve nihayetinde düz bir çizgide minimuma ulaşacak şekilde kaybetmezsiniz.
Şekil 20. İdeal bir kayıp eğrisi.

Maalesef, kayıp eğrilerinin yorumlanması genellikle zordur. Şunu kullanın: sezgilerinize dayanarak, bu sayfadaki alıştırmaları çözmek için kullanır.

1. Alıştırma: Salınımlı kayıp eğrisi

Şekil 21. Kayıp eğrisi (y ekseninde kayıp; eğitim sayısı adımlar (x ekseninde), kaybın düzleşmediği bir durumdur. Bunun yerine, kayıp düzensiz bir şekilde yayılır.
Şekil 21. Salınımlı kayıp eğrisi.
Kayıp eğrisini iyileştirmek için yapabileceğiniz üç şey nedir? Şekil 21'de gösterilmiştir.
Kötü örnekleri tespit etmek için verilerinizi bir veri şemasıyla karşılaştırarak sonra kötü örnekleri eğitim kümesinden kaldırın.
Evet, bu tüm modeller için iyi bir uygulamadır.
Öğrenme hızını düşürün.
Evet. Öğrenme hızını azaltmak, hata ayıklarken neden olabilir.
Eğitim veri kümesini güvenilir örneklerle az sayıda örnekle sınırlayın.
Bu teknik yapay gelse de aslında fikir edinmiş oldunuz. Modelin her bir tablodaki küçük küme güvenilir örnekler varsa, bunları yavaş yavaş hangi örneklerin kayıp eğrisine sebep olduğunu anlamak, hareket eder.
Eğitim veri kümesindeki örneklerin sayısını artırın.
Bu çok cazip bir fikir olabilir ancak bunu düzeltmesi pek olası değildir. düşünmeye başlamışsınızdır.
Öğrenme hızını artırın.
Genel olarak, bir model geliştirilirken öğrenme hızını bir problem olduğuna işaret eder.

2. Alıştırma. Keskin zıplamayla kayıp eğrisi

Şekil 22. Kaybın şu değere kadar azaldığını gösteren bir kayıp eğrisi grafiği: eğitim adımını tamamlamaya karar verdi ve ardından aniden ayrıntılı eğitimlere katılabilirsiniz.
Şekil 22. Kayıpta ani artış.
Aşağıdaki ifadelerden hangi ikisi olası durumları tanımlar patlama kaybının nedenleri Şekil 22'de gösterilmiştir.
Giriş verileri bir veya daha fazla NaN içeriyor (örneğin, bir değer) sıfıra bölünmesinden kaynaklanır.
Bu durum, beklediğinizden daha yaygındır.
Giriş verilerinde aykırı değerler ortaya çıktı.
Bazen, grupların doğru şekilde karıştırılmaması nedeniyle bir grup çok sayıda aykırı değer içerir.
Öğrenme hızı çok düşük.
Çok düşük bir öğrenme oranı eğitim süresini uzatabilir, ancak çok garip kayıp eğrisinin nedeni değildir.
Normalleştirme oranı çok yüksek.
Doğru, çok yüksek bir normalleştirme bir modelin converging; yine de tuhaf bir kayıp eğrisine neden olmaz, Şekil 22'de gösterilmiştir.

3. Alıştırma. Test kaybı, eğitim kaybından farklıdır

Şekil 23. Antrenman kaybı eğrisi yakınlaşıyor gibi görünüyor, ancak Belli bir eğitim süresinden sonra doğrulama kaybı artmaya başlar. adımları.
Şekil 23. Doğrulama kaybında keskin artış.
Aşağıdaki ifadelerden biri özelliği ve eğitim kayıp eğrileri arasındaki bu farkın nedeni, ve test setleri var mı?
Model, eğitim veri kümesini aşıyor.
Evet, muhtemelen öyle. Olası çözümler:
  • Muhtemelen sayıyı azaltarak modeli sadeleştirmek hakkında bilgi edindiniz.
  • Normalleştirme hızını artırın.
  • Eğitim ve test veri kümesinin istatistiksel açıdan eşdeğerdir.
Öğrenme hızı çok yüksek.
Öğrenme hızı çok yüksekse eğitim veri kümesinin kayıp eğrisi davrandığı gibi davranmazdı.

4. Alıştırma. Kayıp eğrisi takılı kalıyor

Şekil 24. Kaybın başlangıcını gösteren bir kayıp eğrisinin grafiği benzerlikler sergileyecek ve tekrarlayan modeller sergileyeceksiniz. dikdörtgen bir dalgaya benzer.
Şekil 24. Belirli sayıda adımdan sonra kaotik kayıptır.
Aşağıdaki ifadelerden biri en olası Şekil 24'te gösterilen düzensiz kayıp eğrisinin açıklaması
Eğitim seti, tekrar eden örnek dizileri içeriyor.
Böyle bir olasılık vardır. Örnekleri karıştırdığınızdan emin olun yeterli olacaktır.
Normalleştirme oranı çok yüksek.
Bunun nedeni muhtemelen bu değildir.
Eğitim setinde çok fazla özellik var.
Bunun nedeni muhtemelen bu değildir.
.
Önceki
L2 normalleştirmesi (10 dk)
Sonraki
Bilginizi test edin (10 dk.)