Üretim ML Sistemleri: Bilginizi Test Edin

Tek boynuzlu atların görünüşünü tahmin eden bir sınıflandırma modeli oluşturmak için makine öğrenimini kullanıyorsunuz. Veri kümeniz, 10.000 tek boynuzlu atın yer aldığı ve 10.000 tek boynuzlu atın görünmediğini ayrıntılarıyla gösterir. Veri kümesinde konum, günün saati, yükseklik, sıcaklık, nem, ağaç örtüsü, gökkuşağının varlığı ve daha birçok özellik bulunur.

Tek boynuzlu at görünümü tahmin aracınızı kullanıma sunduktan sonra yeni veriler üzerinde yeniden eğiterek modelinizi güncel tutmanız gerekir. Eğitim için çok fazla yeni veri topladığınızdan, yeni verileri belirli bir zaman aralığında örnekleyerek eğitim verilerini sınırlamaya karar veriyorsunuz. Ayrıca tek boynuzlu at görünümlerindeki günlük ve yıllık kalıpları da göz önünde bulundurmalısınız. Hangi zaman aralığını seçersiniz?

Bir gün: Daha büyük bir aralık büyük miktarda veri sağlar ve modelinizin eğitilmesi çok uzun sürer.

Veri kümenizin çok büyük olmaması için bir hafta. Ancak kalıpları düzeltmeye devam edebilirsiniz.

Modelinizin günlük veya yıllık kalıplara göre yanlı olmadığından emin olmak için bir yıl.

Tek boynuzlu at görünümü tahmin aracınızı başlatırsınız. Bu özellik iyi performans gösteriyor. Model kalitenizin önemli ölçüde düştüğünü görmek için tatile çıktığınızda ve üç hafta sonra geri döndüğünüzde. Tek boynuzlu at davranışının üç hafta içinde önemli ölçüde değişme olasılığının düşük olduğunu varsayalım. Kalitenin düşmesinin en olası nedeni aşağıdakilerden hangisidir?

Eğitim sunma sapması: Sunma verilerinin biçimi, model sunulmaya başladıktan bir noktada kademeli olarak değişti.

Eğitim sırasında doğruluğu bir metrik olarak kullandınız.

Modeliniz eski.

Yukarıdakilerin hiçbiri.

Modelin Antarktika ile ilgili tahminlerini inceliyor ve üretime sunulduğundan beri modelin orada kötü tahminlerde bulunduğunu keşfediyorsunuz. Sorunun kaynağı aşağıdakilerden hangisi olabilir?

Antarktika için yeterli sayıda antrenman örneğin yoktu.

Statik eğitim yerine dinamik eğitim kullandınız.

Modeliniz eskidi.

Yukarıdakilerin tümü.

Tek boynuzlu at görünümü tahmin aracınız bir yıldır çalışıyor. Birçok sorunu çözdünüz ve kalite artık yüksek. Ancak, küçük ama kalıcı bir sorun fark ettiniz. Modelinizin kalitesi, kentsel alanlarda biraz daha düştü. Bunun nedeni ne olabilir?

Tahminlerinizin yüksek kalitesi, kullanıcıların tek boynuzlu atları kolayca bulmasına yol açar ve bu da tek boynuzlu atın görünüş davranışını etkiler.

Kentsel alanlarda model oluşturmak zordur.

Yoğun nüfuslu bölgelerde tek boynuzlu atların görünmesi birden fazla kez bildirildiği için eğitim verileriniz çarpıtılır.

Tüm sorun giderme adımlarınızda, tek boynuzlu at modelinin tahmin kalitesini çok yükselttiniz ve bunun sonucunda kullanım on kat arttı. Ancak kullanıcılar şimdi modelin çok yavaş olduğundan şikayet ediyor. Çıkarım isteklerinin tahmin döndürmesi genellikle 30 saniyeden uzun sürer. Aşağıdaki değişikliklerden hangisi bu sorunu çözmeye yardımcı olabilir?

Modeli dinamik eğitimden statik eğitime geçirin.

Modeli dinamik çıkarımdan statik çıkarıma geçirin.

Sunumdan önce model kalitesini doğrulayın.

Yukarıdaki çözümlerin hiçbiri işe yaramaz.