Bu derste, üretim sistemlerindeki verileriniz ve modeliniz hakkında sormanız gereken sorulara odaklanılmaktadır.
Her özellik faydalı mı?
Modelinizin tahmin gücüne çok az veya hiç katkıda bulunmayan özellikleri kaldırmak için modelinizi sürekli olarak izlemeniz gerekir. Bu özellik için giriş verileri aniden değişirse modelinizin davranışı da aniden istenmeyen şekillerde değişebilir.
Aşağıdaki ilgili soruyu da göz önünde bulundurun:
- Özelliğin faydası, ekleme maliyetini haklı çıkarıyor mu?
Modele her zaman daha fazla özellik eklemek caziptir. Örneğin, eklemenizin modelinizin tahminlerini biraz daha iyi hale getirdiğini düşündüğünüz yeni bir özellik bulduğunuzu varsayalım. Biraz daha iyi tahminler, biraz daha kötü tahminlerden kesinlikle daha iyi görünse de ek özellik, bakım yükünüzü artırır.
Veri kaynağınız güvenilir mi?
Giriş verilerinizin güvenilirliği hakkında sormanız gereken bazı sorular:
- Sinyal her zaman kullanılabilir mi yoksa güvenilir olmayan bir kaynaktan mı geliyor? Örneğin:
- Sinyal, yoğun yük altında kilitlenen bir sunucudan mı geliyor?
- Sinyal, her Ağustos ayında tatile giden kullanıcılardan mı geliyor?
- Modelinizin giriş verilerini hesaplayan sistem değişir mi? Bu durumda:
- Ne sıklıkta?
- Bu sistem değiştiğinde bunu nasıl anlarsınız?
Yukarı yönlü süreçten aldığınız verilerin kendi kopyanızı oluşturabilirsiniz. Ardından, yalnızca güvenli olduğundan emin olduğunuzda yayın öncesi verilerin bir sonraki sürümüne geçin.
Modeliniz bir geri bildirim döngüsünün parçası mı?
Bazen bir model kendi eğitim verilerini etkileyebilir. Örneğin, bazı modellerden elde edilen sonuçlar da (doğrudan veya dolaylı olarak) aynı modelin giriş özellikleri haline gelir.
Bazen bir model başka bir modeli etkileyebilir. Örneğin, hisse senedi fiyatlarını tahmin etmek için iki model düşünelim:
- Kötü bir tahmine dayalı model olan A modeli.
- Model B.
A modeli hatalı olduğu için yanlışlıkla X hissesi satın almaya karar verir.
Bu satın alma işlemleri X hissesinin fiyatını yükseltir. B modeli, giriş özelliği olarak X hissesinin fiyatını kullanır. Bu nedenle, B modeli X hissesinin değeri hakkında bazı yanlış sonuçlara varabilir. Bu nedenle B modeli, A modelinin hatalı davranışına bağlı olarak X hissesini satın alabilir veya satabilir.
B modelinin davranışı da A modelini etkileyebilir ve muhtemelen bir lale çılgınlığı veya X şirketinin hissesinde düşüş tetikleyebilir.
Alıştırma: Anladığınızdan emin olun
Aşağıdaki modellerden hangi üçü geri bildirim döngüsüne açıktır?
Plajın yakınındaki otoyol çıkışlarında tıkanıklığı tahmin eden, özelliklerinden biri olarak plajdaki kalabalık sayısını kullanan bir trafik tahmini modeli.
Bazı plaj ziyaretçileri, planlarını trafik tahminine göre yapar. Plajda çok sayıda insan varsa ve trafiğin yoğun olacağı tahmin ediliyorsa birçok kişi alternatif planlar yapabilir. Bu durum, plaja gelenlerin sayısını azaltabilir ve trafiğin daha az olacağı tahmin edilmesine yol açabilir. Bu da katılımı artırabilir ve döngü tekrarlanır.
Kullanıcılarının beğenebileceği romanları popülerliklerine (ör. satın alma sayısı) göre öneren bir kitap öneri modeli.
Kitap önerileri, satın alma işlemlerini artırabilir. Bu ek satışlar, modele giriş olarak geri beslenir. Böylece, gelecekte aynı kitapların önerilme olasılığı artar.
Okulları kısmen seçkinliklerine (başvurup kabul edilen öğrencilerin yüzdesi) göre derecelendiren bir üniversite sıralaması modeli.
Modelin sıralaması, en yüksek puan alan okullara yönelik ilgiyi artırarak bu okulların aldığı başvuru sayısını artırabilir. Bu okullar aynı sayıda öğrenci kabul etmeye devam ederse seçicilik artar (kabul edilen öğrenci yüzdesi düşer). Bu durum, söz konusu okulların sıralamasını yükseltir. Bu da potansiyel öğrencilerin ilgisini daha da artırır.
Seçim sonuçlarını tahmin eden bir model. Bu model, oy verme işlemi sona erdikten sonra seçmenlerin% 2'sine anket uygulayarak bir belediye başkanlığı yarışının kazananını tahmin eder.
Model, tahminini sandıklar kapanana kadar yayınlamazsa tahminlerinin seçmen davranışını etkilemesi mümkün değildir.
Ev fiyatlarını tahmin etmek için boyutu (metrekare cinsinden alan), yatak odası sayısını ve coğrafi konumu özellik olarak kullanan bir konut değeri modeli.
Fiyat tahminlerine yanıt olarak bir evin konumunu, büyüklüğünü veya yatak odası sayısını hızlıca değiştirmek mümkün değildir. Bu nedenle, geri bildirim döngüsü olası değildir. Ancak büyüklük ile yatak odası sayısı arasında olası bir korelasyon vardır (daha büyük evlerde daha fazla oda olması muhtemeldir) ve bu iki değişkenin birbirinden ayrılması gerekebilir.
Bir kişinin fotoğrafta gülümseyip gülümsemediğini algılayan ve her ay otomatik olarak güncellenen bir stok fotoğraf veritabanında düzenli olarak eğitilen yüz özellikleri modeli.
Model tahminleri fotoğraf veritabanı üzerinde herhangi bir etkisi olmadığından burada geri bildirim döngüsü yoktur. Ancak bu aylık güncellemelerin model üzerinde öngörülemeyen etkileri olabileceğinden, giriş verilerinin sürümlendirilmesi burada önemli bir konudur.
