Ocena z opakowania
Lasy losowe nie wymagają zbioru danych do weryfikacji. Większość lasów losowych używa techniki o nazwie out-of-bag-evaluation (OOB evaluation) do oceny jakości modelu. Ocena OOB traktuje zbiór treningowy tak, jakby był zbiorem testowym w ramach walidacji krzyżowej.
Jak już wspomnieliśmy, każde drzewo decyzyjne w lesie losowym jest zwykle trenowane na około 67% przykładów treningowych. Dlatego każde drzewo decyzyjne nie widzi około 33% przykładów treningowych. Główna idea oceny OOB:
- Aby ocenić las losowy na zbiorze treningowym.
- W przypadku każdego przykładu użyj tylko drzewek decyzyjnych, które nie widziały tego przykładu podczas treningu.
Poniższa tabela przedstawia ocenę OOB lasu losowego z 3 schematami decyzyjnymi wytrenowanymi na 6 przykladach. (To ta sama tabela co w sekcji Oznaczanie). Tabela pokazuje, które drzewo decyzyjne jest używane w którym przykładzie podczas oceny OOB.
Tabela 7. OOB Evaluation – liczby wskazują, ile razy dany przykład treningowy został użyty podczas trenowania danego przykładu.
| Przykłady treningu | Przykłady oceny poza zakresem | ||||||
|---|---|---|---|---|---|---|---|
| #1 | #2 | #3 | #4 | #5 | #6 | ||
| pierwotny zbiór danych | 1 | 1 | 1 | 1 | 1 | 1 | |
| drzewo decyzyjne 1 | 1 | 1 | 0 | 2 | 1 | 1 | #3 |
| decision tree 2 | 3 | 0 | 1 | 0 | 2 | 0 | 2, 4 i 6. |
| drzewo decyzyjne 3 | 0 | 1 | 3 | 1 | 0 | 1 | 1 i 5 |
W przykładzie przedstawionym w tabeli 7 prognozy OOB dla przykładu treningowego 1 będą obliczane za pomocą drzewa decyzyjnego 3 (ponieważ drzewa decyzyjne 1 i 2 zostały wykorzystane do trenowania na podstawie tego przykładu). W praktyce w przypadku zbioru danych o rozsądnym rozmiarze i kilku drzewach decyzyjnych wszystkie przykłady mają prognozę OOB.
compute_oob_performances=True.
Ocena OOB jest też skuteczna w przypadku obliczania znaczenia zmiennych permutacji w modelach lasów losowych. Jak już wiesz z sekcji Znaczenie zmiennych, permutacyjna ważność zmiennej mierzy znaczenie zmiennej przez pomiar spadku jakości modelu po jej przetasowaniu. Losowy las „ważność zmiennej permutacji OOB” to znaczenie zmiennej permutacji obliczone za pomocą oceny OOB.
compute_oob_variable_importances=True.