Öğrendiklerinizi Kontrol Etme: Model Hata Ayıklama

Aşağıdaki soruların yanıtlarını genişletmek için seçiminizi tıklayın.

Modelleme Yaklaşımı

Siz ve arkadaşınız Melis tek boynuzlu atlar gibi. Aslında tek boynuzlu atları o kadar seviyorsunuz ki, tek boynuzlu atların görünümünü ... makine öğrenimi kullanarak tahmin etmeye karar veriyorsunuz. 10.000 tek boynuzlu attan oluşan bir veri kümeniz var. Veri kümesi, her bir görünüm için konum, günün saati, rakım, sıcaklık, nem, nüfus yoğunluğu, ağaç örtüsü, gökkuşağının varlığı ve daha birçok özelliği içerir.

ML modelinizi geliştirmeye başlamak istiyorsunuz. Aşağıdaki yaklaşımlardan hangisi gelişime başlamanın iyi bir yoludur?
Tek boynuzlu atlar genellikle tan vaktinde ve gün batımında görünür. Bu nedenle, doğrusal bir model oluşturmak için "günün saati" özelliğini kullanın.
Doğru. Öngörülen bir veya iki özelliği kullanan doğrusal model, başlamak için etkili bir yoldur.
Tek boynuzlu atların nasıl göründüğünü tahmin etmek çok zor bir sorun. Bu nedenle, mevcut tüm özellikleri içeren bir derin nöral ağ kullanın.
Yanlış. Karmaşık bir modelle başlamak, hata ayıklamayı karmaşık hale getirir.
Basit bir doğrusal modelle başlayın, ancak basit modelin tahmin gücü olduğundan emin olmak için tüm özellikleri kullanın.
Yanlış. Doğrusal modelle bile birçok özellik kullanırsanız ortaya çıkan modelin karmaşık ve hata ayıklaması zor olan bir model olması gerekir.

Referans değer

Regresyondan ortalama kare hata (MSE) kaybıyla regresyonu kullanarak taksi yolculuğu süresini yolculuk süresi, mesafe, kalkış ve bitiş bilgilerini kullanarak tahmin edersiniz. Şunları biliyorsunuz:

  • Ortalama yolculuk maliyeti 15 ABD dolarıdır.
  • Yolculuk maliyeti, sabit bir kilometre başına artar.
  • Şehir merkezinde yolculuklar ek ücrete tabidir.
  • Oyuncaklar minimum 3 ABD doları ücretle başlar.

Aşağıdaki temel ilkelerin yararlı olup olmadığını belirleyin.

Bu sizin için yararlı bir referans değer mi? Her yolculuk için 15 TL gerekiyor.
Evet
Doğru. Ortalama maliyet, faydalı bir başlangıç noktasıdır.
Hayır
Yanlış. Ortalamayı tahmin etmek, her zaman diğer değerleri tahmin etmeye kıyasla daha düşük bir MSE ile sonuçlanır. Dolayısıyla, bir modeli bu referans değere göre test etmek anlamlı bir karşılaştırma sağlar.
Bu, yolculuk maliyetinin standart sapmasına bağlıdır.
Yanlış. Standart sapmadan bağımsız olarak, ortalama tahminin her zaman başka bir değeri tahmin etmeye kıyasla daha düşük bir TSE ile sonuçlanacağından yolculuk ortalama maliyeti yararlı bir referans değerdir.
Bu, yararlı bir başlangıç noktasıdır: Özellik olarak yalnızca süre ve kaynak kullanan eğitilmiş bir model.
Evet
Yanlış. Eğitilen bir modeli, yalnızca model üretimde tamamen doğrulandıktan sonra temel olarak kullanmanız gerekir. Ayrıca, eğitilen modelin daha basit bir temele göre doğrulanması gerekir.
Hayır
Doğru. Eğitilen bir modeli, yalnızca model üretimde tamamen doğrulandıktan sonra temel olarak kullanmanız gerekir.
Bu sizin için yararlı bir referans noktasıdır. Yolculuk maliyeti, yolculuk mesafesinin (mil cinsinden) kilometre başına ücretle çarpımıdır.
Evet
Doğru. Mesafe, yolculuk maliyetini belirlemede en önemli faktördür. Bu nedenle, mesafeyi temel alan bir referans değer yararlıdır.
Hayır
Yanlış. Mesafe, ulaşım maliyetinin belirlenmesinde en önemli faktördür. Bu nedenle, mesafeyi temel alan bir referans değer yararlıdır.
Bu sizin için yararlı bir referans değer mi? Her yolculuk için 1 TL gerekiyor. Çünkü modelin bu alt sınırı her zaman aşması gerekir. Model bu tabanın altında kalırsa modelde bir hata olduğundan emin olabiliriz.
Evet
Yanlış. Her zaman yanlış olduğu için bu, yararlı bir referans değildir. Bir modeli, her zaman yanlış olan bir referans değerle karşılaştırmak anlamlı değildir.
Hayır
Doğru. Bu referans değeri, modelinizin faydalı bir testi değildir.

Hiperparametreler

Aşağıdaki sorular, bir sınıflandırıcıyı eğitmeyle ilgili sorunları açıklar. Açıklanan sorunu çözebilecek işlemleri seçin.

Eğitim kaybı 0,24 ve doğrulama kaybı 0,36'dır. Aşağıdaki işlemlerden hangi ikisi, eğitim ve doğrulama kaybı arasındaki farkı azaltabilir?
Eğitim ve doğrulama gruplarının aynı istatistiksel özelliklere sahip olduğundan emin olun.
Doğru. Eğitim ve doğrulama gruplarının farklı istatistiksel özellikleri varsa eğitim verileri, doğrulama verilerinin tahmin edilmesine yardımcı olmaz.
Çok fazla sığdırmamak için normalleştirmeden yararlanın.
Doğru. Eğitim kaybı, doğrulama kaybından küçükse modeliniz muhtemelen eğitim verilerine çok fazla uyuyordur. Normalleştirmek fazla uyumayı önler.
Eğitim dönemlerinin sayısını artırın.
Yanlış. Eğitim kaybı, doğrulama kaybından azsa modeliniz eğitim verilerine genellikle uyuyordur. Eğitim dönemlerinin artması yalnızca fazla kıyafeti artırır.
Öğrenme oranını azaltın.
Yanlış. Doğrulama kaybı, eğitim kaybından daha yüksekse genellikle çok fazla uygun olduğunuz anlamına gelir. Öğrenme oranının değiştirilmesi fazla uyumu azaltmaz.
Önceki soruda açıklanan doğru işlemleri gerçekleştirdiniz. Şimdi, eğitim ve doğrulama kayıplarınız, birçok dönem için eğitimden sonra yaklaşık 0,24'e düşüyor. Aşağıdaki işlemlerden hangisi eğitim kayıpınızı daha da azaltabilir?
Nöral ağınızın derinliğini ve genişliğini artırın.
Doğru. Birçok dönem için eğitimden sonra eğitim kaybı 0, 24'te sabit kalırsa modeliniz daha düşük bir kayıp oranıyla ilgili tahmine sahip olmayabilir. Modelin derinliğini ve genişliğini artırmak, modele eğitim kaybını daha da azaltmak için gereken ek tahmin özelliklerini sağlayabilir.
Eğitim dönemlerinin sayısını artırın.
Yanlış. Birçok dönem için eğitimden sonra eğitim kaybı 0, 24 olarak kalırsa modeli eğitmeye devam etmek muhtemelen eğitim kaybının önemli ölçüde azalmasına neden olmayacaktır.
Öğrenme oranını artırma.
Yanlış. Çoğu eğitim döneminin eğitim kayıplarını azaltmadığı göz önünde bulundurulduğunda, öğrenme oranının artması muhtemelen nihai eğitim düzeyini düşürmeyecektir. Bunun yerine, öğrenme hızını artırmak eğitiminizi kararsız hale getirebilir ve modelinizin verileri öğrenmesini engelleyebilir.
Önceki soruda doğru işlemi gerçekleştirmiş olmanız gerekir. Modelinizin eğitim kaybı 0,20'ye düştü. Modelinizin eğitim kaybını biraz daha azaltmanız gerektiğini varsayalım. Tahmini gücü olan birkaç özellik eklersiniz. Ancak eğitim kaybı, yaklaşık 0,20 düzeyinde dalgalanmaya devam ediyor. Aşağıdaki üç seçenekten hangisi eğitim kaybını azaltabilir?
Katmanlarınızın derinliğini ve genişliğini artırın.
Doğru. Modeliniz, yeni özelliklerdeki tahmine dayalı sinyalleri öğrenme kapasitesine sahip olmayabilir.
Eğitim dönemlerini artırın.
Yanlış. Modelinizin eğitim kaybı 0,20 civarında dalgalanıyorsa eğitim dönemi sayısını artırmak, muhtemelen modelin eğitim kaybının 0,20 civarında dalgalanmaya devam etmesine neden olur.
Özellikler, mevcut özelliklere göre bilgi eklemez. Farklı bir özellik deneyin.
Doğru. Özellikler tarafından kodlanan tahmine dayalı sinyaller, kullandığınız özelliklerde zaten mevcut olabilir.
Öğrenme oranını azaltın.
Doğru. Yeni özellikler eklemek sorunu daha da karmaşık hale getirebilir. Özellikle kayıptaki dalgalanmalar, öğrenme oranının çok yüksek olduğunu ve modelinizin minimum değerde atladığını gösterir. Öğrenme hızınızı azaltmak, modelinizin minimum düzeyde bilgi edinmesini sağlar.