Önceki birimde çok sayıda yanlış sınıflandırılmış şu model kullanılıyordu.
sayısı:
Şekil 16. Önceki birimdeki hatalı çalışan karmaşık model.
Önceki model çok sayıda karmaşık şekil içeriyor. Daha basit
modeliniz yeni verileri daha iyi işliyor mu? Karmaşık modeli
basit bir model şeklindeydi: düz bir çizgi.
Şekil 17. Çok daha basit bir model.
Basit model, yeni verilerdeki karmaşık modelden daha iyi geneller. Yani,
Basit modelin test kümesinde karmaşık modelden daha iyi tahminlerde bulunması.
Basitlik uzun zamandır karmaşıklığı yendi. Aslında
antik Yunanistan'a kadar uzanıyor. Yüzlerce yıl sonra
Occam'li William adlı on dördüncü yüzyılda rahibin bu tercihi resmileştirdi.
Occam'in felsefesi olarak bilinen
tıraş bıçağı. Bu felsefe
birçok bilimin temel ilkesidir.
bir ekiple çalışıyorum.
Alıştırmalar: Öğrendiklerinizi sınayın
Bir fizik denklemi geliştiriyorsunuz. Aşağıdaki formüllerden hangisi
Occam'in Jilet'ine daha yakın mı olmalı?
Üç değişkenli bir formül.
Üç değişken on iki değişkenden çok Occam için daha uygundur.
On iki değişkenli bir formül.
On iki değişken fazlasıyla karmaşık görünüyor, değil mi?
Tüm zamanların en bilinen iki fizik formülü (F=ma ve
E=mc2) her biri yalnızca üç değişken içerir.
Yepyeni bir makine öğrenimi projesindesiniz ve
özellikleri inceleyelim. Kaç özellik seçmelisiniz?
Güçlü tahmin gücüne sahip görünen 1-3 özellik seçin.
Veri toplama ardışık düzeninizin yalnızca bir veya daha fazla
iki özellik bulunuyor. Bu işlem, makine öğrenimi modelinin amaçlandığı gibi çalıştığını doğrulamanıza yardımcı olur.
Ayrıca bazı özellikleri temel alarak temel çizgisini
ilerleme kaydettiğinizi hissedeceksiniz.
Tahmin gücü güçlü olan 4-6 özellik seçin.
Zamanla bu kadar çok özelliği kullanabilirsiniz, ancak yine de
daha azıyla başlayın. Daha az özellik, daha az gereksiz bilgi anlamına gelir.
gibi görünüyor.
Mümkün olduğunca çok özellik seçin ki hangi
en güçlü tahmin gücüne sahiptir.
Daha küçük adımlarla başlayın. Her yeni özellik, eğitiminize yeni bir boyut katar
veri kümesiyle eşleştirilir. Boyutsallık arttıkça alanın hacmi de artar.
o kadar hızlı yükselir ki mevcut eğitim verileri yetersiz kalır. İlgili içeriği oluşturmak için kullanılan
verilerinizi paylaştırırsa, modelin olası satışla olan ilişkisini öğrenmesi de
etiket arasındaki farkları düşünün. Bu fenomen
"boyutluluğun laneti" olarak adlandırılıyor.
Normalleştirme
Makine öğrenimi modelleri, birbiriyle çakışan iki hedefi aynı anda karşılamalıdır:
Verileri iyi sığdırın.
Fit verileri mümkün olduğunca sadeleştirin.
Bir modeli basit tutmaya yönelik yaklaşımlardan biri karmaşık modelleri cezalandırmaktır. yani
modeli eğitim sırasında daha basit hale getirmek için. Cezalandırma kompleksi
model de bir düzenleme biçimidir.
Kayıp ve karmaşıklık
Bu kursta şimdiye kadar eğitimin tek amacının
kaybı en aza indirme yani:
$$\text{minimize(loss)}$$
Gördüğünüz gibi, yalnızca kaybı azaltmaya odaklanan modeller fazla uyum sağlama eğilimindedir.
Daha iyi bir eğitim optimizasyonu algoritması, eğitimle ilgili
kayma ve karmaşıklık:
$$\text{minimize(loss + complexity)}$$
Maalesef kayıp ve karmaşıklık genellikle birbiriyle ters ilişkilidir. Farklı
karmaşıklık artar, kayıp azalır. Karmaşıklık azaldıkça kayıplar da artar.
Modelin iyi sonuç vermesi için makul bir orta yol bulmanız gerekir.
eğitim verileri ve gerçek veriler hakkında
tahminler yapmak istiyor.
Yani, modeliniz projenin başarısı için
arasındaki farkları konuşacağız.
Karmaşıklık nedir?
Kaybı ölçmenin birkaç farklı yolunu gördünüz. Nasıl
karmaşayı nicel olarak ölçtünüz mü? Keşfinize aşağıdaki alıştırmayla başlayın:
Alıştırma: Sezgilerinizi sınayın
Şimdiye kadar karmaşıklığın ne olduğu konusunda
düşünülebilir. Sizce aşağıdaki fikirlerden hangisinin makul olduğunu düşünüyorsunuz
metrikleriniz var mı?
Karmaşıklık modelin ağırlıklarının bir fonksiyonudur.
Evet. Bu, bazı modellerin performansını ölçmenin gerekir.
Bu metriğe
L1 normalleştirmesi.
Karmaşıklık, modelin ağırlıklarının karesinin bir fonksiyonudur.
Evet, bazı modellerin verilerini şekilde ele alacağız. Bu metrik
adı
L2 normalleştirmesi.
Karmaşıklık, Sauce & Spoon tablet projesindeki tüm özelliklerin sapmalarının
modeli.
