"Tesis dışı" değerlendirmesi
Rastgele ormanlar, doğrulama veri kümesi gerektirmez. Rastgele ormanların çoğu, modelin kalitesini değerlendirmek için out-of-bag-evaluation (out-of-bag-evaluation out-of-bag-evaluation) adı verilen bir teknik kullanır. OOB değerlendirmesi, eğitim kümesini bir çapraz doğrulamanın test kümesinde gibi değerlendirir.
Daha önce açıklandığı gibi, rastgele bir ormandaki her karar ağacı genellikle eğitim örneklerinin yaklaşık% 67'sinde eğitilir. Bu nedenle, her karar ağacı eğitim örneklerinin yaklaşık% 33'ünü görmez. OOB değerlendirmesinin temel fikri şu şekildedir:
- Eğitim setindeki rastgele ormanı değerlendirmek için.
- Her örnek için, yalnızca eğitim sırasında örneği görmeyen karar ağaçlarını kullanın.
Aşağıdaki tabloda, 6 örnek üzerinde eğitilmiş 3 karar ağacı içeren rastgele bir ormanın OOB değerlendirmesi gösterilmektedir. (Evet, bu tablo, Bagging bölümündekiyle aynıdır.) Tablo, OOB değerlendirmesi sırasında hangi karar ağacının hangi örnekle kullanıldığını gösterir.
Tablo 7. OOB Değerlendirmesi: Sayılar, belirli bir eğitim örneğinin, belirtilen örneğin eğitimi sırasında kaç kez kullanıldığını gösterir.
| Eğitim örnekleri | OOB Değerlendirmesi Örnekleri | ||||||
|---|---|---|---|---|---|---|---|
| #1 | #2 | #3 | #4 | #5 | #6 | ||
| orijinal veri kümesi | 1 | 1 | 1 | 1 | 1 | 1 | |
| karar ağacı 1 | 1 | 1 | 0 | 2 | 1 | 1 | #3 |
| karar ağacı 2 | 3 | 0 | 1 | 0 | 2 | 0 | #2, #4 ve #6 |
| karar ağacı 3 | 0 | 1 | 3 | 1 | 0 | 1 | 1 ve 5 |
Tablo 7'de gösterilen örnekte, eğitim örneği 1 için OOB tahminleri 3. karar ağacıyla hesaplanacaktır (çünkü 1 ve 2 numaralı karar ağaçlarında bu örnek eğitim için kullanılmaktadır). Pratikte, makul boyutlu bir veri kümesi ve birkaç karar ağacı üzerinde tüm örnekler bir OOB tahminine sahiptir.
compute_oob_performances=True ile eğitildiyse OOB değerlendirmesi eğitim günlüklerinde yer alır.
OOB değerlendirmesi, rastgele orman modelleri için permütasyon değişkeninin öneminin hesaplanmasında da etkilidir. Değişken önem derecelerinden, permütasyon değişkeninin önem derecesinin, bu değişken karıştırıldığında model kalitesindeki düşüşü ölçerek bir değişkenin önemini ölçtüğünü unutmayın. Rastgele orman "OOB permütasyon değişkeninin önemi", OOB değerlendirmesi kullanılarak hesaplanan bir permütasyon değişkeninin önemidir.
compute_oob_variable_importances=True ile eğitildiyse OOB permütasyon değişkeninin önemleri eğitim günlüklerinde bulunabilir.