Kutudan çıkar çıkmaz değerlendirme
Rastgele ormanlar için doğrulama veri kümesi gerekmez. Çoğu rastgele orman, modelin kalitesini değerlendirmek için çanta dışı değerlendirme (OOB değerlendirme) adlı bir teknik kullanır. Harici değerlendirme, eğitim kümesini çapraz doğrulamanın test kümesindeymiş gibi değerlendirir.
Daha önce açıklandığı gibi, rastgele ormanda bulunan her karar ağacı genellikle eğitim örneklerinin yaklaşık% 67'sinde eğitilir. Bu nedenle, her karar ağacı eğitim örneklerinin yaklaşık% 33'ünü görmez. OOB değerlendirmenin temel fikri şudur:
- Eğitim veri kümesinde rastgele ormanı değerlendirmek için.
- Her örnek için yalnızca eğitim sırasında örneği görmeyen karar verme ağaçlarını kullanın.
Aşağıdaki tabloda, 6 örnek üzerinde eğitilmiş 3 karar ağacına sahip rastgele bir ormanın harici veri kümesi değerlendirmesi gösterilmektedir. (Evet, bu, Paketleme bölümündeki tabloyla aynıdır.) Tabloda, OOB değerlendirmesi sırasında hangi karar ağacının hangi örnekle kullanıldığı gösterilmektedir.
Tablo 7. OOB Değerlendirmesi: Sayılar, belirli bir eğitim örneğinin ilgili örneğin eğitimi sırasında kaç kez kullanıldığını gösterir.
| Eğitim örnekleri | Kuruluş Dışı Değerlendirme Örnekleri | ||||||
|---|---|---|---|---|---|---|---|
| #1 | #2 | #3 | #4 | #5 | #6 | ||
| orijinal veri kümesi | 1 | 1 | 1 | 1 | 1 | 1 | |
| karar ağacı 1 | 1 | 1 | 0 | 2 | 1 | 1 | #3 |
| karar ağacı 2 | 3 | 0 | 1 | 0 | 2 | 0 | #2, #4 ve #6 |
| karar ağacı 3 | 0 | 1 | 3 | 1 | 0 | 1 | #1 ve #5 |
Tablo 7'de gösterilen örnekte, 1. eğitim örneği için harici veri kümesi tahminleri 3. karar ağacıyla hesaplanır (1. ve 2. karar ağaçları eğitim için bu örneği kullandığından). Pratikte, makul boyutta bir veri kümesinde ve birkaç karar ağacıyla tüm örneklerin ÖY tahmini vardır.
compute_oob_performances=True ile eğitildiyse eğitim günlüklerinde harici veri kümesi değerlendirmesi kullanılabilir.
OOB değerlendirmesi, rastgele orman modelleri için permütasyon değişkeni önemini hesaplamak amacıyla da etkilidir. Değişken önemleri bölümünde, permütasyon değişken öneminin, bir değişken karıştırıldığında model kalitesindeki düşüşü ölçerek değişkenin önemini ölçtüğünü unutmayın. Rastgele orman "OOB permütasyon değişkeni önemi", OOB değerlendirmesi kullanılarak hesaplanan bir permütasyon değişkeni önemidir.
compute_oob_variable_importances=True ile eğitildiyse hariç tutulan permütasyon değişkeni önemleri eğitim günlüklerinde kullanılabilir.