Tebrikler! Global tek boynuzlu at görünümü tahmin aracını dağıttınız. Tahmininizin 7/24 sorunsuz çalışmasını istersiniz. ML ardışık düzeninizi izlemeniz gerektiğini hemen fark ediyorsunuz. Tüm bileşenlerinizi izlemek zor görünse de şartlar ve çözümlere göz atalım.
Eğitim Sunum Saplarını kontrol edin
Eğitim sapması, giriş verilerinizin eğitim ve sunum arasında farklılık gösterdiği anlamına gelir. Aşağıdaki tabloda, iki önemli sapma türü açıklanmıştır:
| Tür | Tanım | Örnek | Çözüm |
|---|---|---|---|
| Şema sapması | Eğitim ve sunum giriş verileri aynı şemaya uymuyor. | Sunum verilerinin biçimi veya dağıtımı, modeliniz eski veriler üzerinde çalışmaya devam ederken değişir. | Eğitim ve sunum verilerini doğrulamak için aynı şemayı kullanın. Eksik değerlerin oranı gibi şemanız tarafından kontrol edilmeyen istatistikleri ayrı ayrı kontrol ettiğinizden emin olun |
| Özellik sapması | İşlenmiş veriler, eğitim ve sunum açısından farklılık gösterir. | Özellik mühendisliği kodu, eğitim ve sunum açısından farklılık gösterir ve farklı mühendislik verileri oluşturur. | Şema sapmasına benzer şekilde, eğitim ve mühendislik verileri sunmak için aynı istatistiksel kuralları uygulayın. Tespit edilen çarpık özelliklerin sayısını ve özellik başına çarpıtma örneklerinin oranını izleyin. |
Ardışık Düzen boyunca Model Yaşını İzleme
Sunum verileri zamanla değişiyorsa ancak modeliniz düzenli olarak yeniden eğitilmiyorsa model kalitesinde bir düşüş görürsünüz. Modelin yeni veriler üzerinde yeniden eğitilmesinden bu yana geçen süreyi izleyin ve uyarılar için bir eşik yaşı belirleyin. Sunum sırasında modelin yaşını izlemenin yanı sıra, hat ardışık düzen tezgahlarını yakalamak için modelin yaşını da takip etmelisiniz.
Model Ağırlıkları ve Çıkışlarının Sayısal olarak Sabit olduğunu test etme
Model eğitimi sırasında ağırlıklarınız ve katman çıkışlarınız NaN veya Inf olmamalıdır. Ağırlıklarınız ve katman çıkışlarınızın NaN ve Inf değerlerini kontrol etmek için testler yazın. Ayrıca, bir katmanın çıkışlarının yarısından fazlasının sıfır olup olmadığını da test edin.
Model Performansını İzleme
Tek boynuzlu at görünüm tahmininiz beklenenden daha popüler! Çok sayıda tahmin isteği ve daha fazla eğitim verisi alıyorsunuz. Modelinizin giderek daha fazla bellek ve zaman aldığını görene kadar bunun harika olduğunu düşünüyorsunuz. Aşağıdaki adımları uygulayarak modelinizin performansını izlemeye karar verirsiniz:
- Model performansını kod, model ve veri sürümlerine göre izleyin. Bu takipler, performanstaki düşüşün tam nedenini belirlemenize olanak tanır.
- Yeni bir model sürümü için saniyede ve önceki sürümde ve sabit eşikte eğitim adımlarını test edin.
- Bellek kullanımı için eşik belirleyerek bellek sızıntılarını yakalayın.
- API yanıt sürelerini izleyin ve yüzdelik dilimlerini takip edin. API yanıt süreleri kontrolünüzün dışında olsa da yavaş yanıtlar muhtemelen gerçek dünyadan metriklerde düşüşe neden olabilir.
- Saniyede yanıtlanan sorgu sayısını izleyin.
Yayınlanan Verilerde Canlı Modelin Kalitesini Test Etme
Modelinizi doğruladınız. Ancak doğrulama verilerinizi kaydettikten sonra, tek boynuzlu at davranışı gibi gerçek dünya senaryoları değişirse ne olur? Bu durumda, sunduğunuz modelin kalitesi düşer. Bununla birlikte, gerçek dünyadaki veriler her zaman etiketlenmediği için sunumdaki kalitesi test etmek zordur. Sunum verileriniz etiketlenmemişse şu testleri yapabilirsiniz:
Gerçek derecelendirme yapan etiketler kullanarak etiketler oluşturun.
Tahminlerde istatistiksel açıdan önemli sapmalar gösteren modelleri araştırın. Sınıflandırma: Tahmin Taraflı bölümüne bakın.
Modelinize ilişkin gerçek dünya metriklerini izleyin. Örneğin, spam'ı sınıflandırıyorsanız tahminlerinizi kullanıcıların bildirdiği spam'larla karşılaştırın.
Sorgularınızın küçük bir bölümünde yeni bir model sürümü sunarak eğitim ve veriler arasındaki potansiyel farkı azaltın. Yeni sunum modelinizi doğruladıkça, tüm sorguları kademeli olarak yeni sürüme geçirin.
Bu testleri kullanarak tahmin kalitesinde hem ani hem yavaş düşüşü izlemeyi unutmayın.