W tej części omawiamy następujące tematy:
- interpretowanie losowych lasów
- trening losowego lasu
- zalety i wady lasów losowych
Interpretacja lasów losowych
Lasy losowe są bardziej złożone do interpretacji niż drzewa decyzyjne. Losowe lasy zawierają drzewa decyzyjne wytrenowane z wytrenowaniem losowego szumu. Dlatego trudniej jest w zakresie struktury drzewa decyzyjnego. Możemy natomiast interpretować losowe modeli leśnych na kilka sposobów.
Jednym ze sposobów interpretacji losowego lasu jest po prostu wytrenowanie i interpretacja drzewo decyzyjne oparte na algorytmie CART. Ponieważ las losowy i CART są wytrenowane za pomocą tego samego podstawowego algorytmu, „mają ten sam widok globalny” z w gromadzeniu danych. Ta opcja sprawdza się w przypadku prostych zbiorów danych i pozwala zrozumieć ogólnej interpretacji modelu.
Znaczenie zmiennych jest też dobrą interpretowalnością jak ważna jest pokora. Na przykład w poniższej tabeli przedstawiono ranking zmiennej znaczenia różnych cech losowego modelu lasu wytrenowanego na Zbiór danych statystycznych (również znane jako Dla dorosłych).
Tabela 8. Zmienne znaczenie 14 różnych cech. .
| Funkcja | Wynik sumy | Średni spadek dokładności | Średni spadek AUC | Średnia minimalna głębokość | Liczba węzłów | Średni spadek PR-AUC | Num jako pierwiastek |
|---|---|---|---|---|---|---|---|
| związek | 4203592.6 |
0,0045 |
0,0172 |
4970 |
57040 |
0,0093 |
1095 |
| capital_gain | 3363045.1 |
0,0199 |
0,0194 |
2,852 |
56468 |
0,0655 |
457 |
| marital_status | 3128996,3 |
0,0018 |
0,0230 |
6,633 |
52391 |
0,0107 |
750 |
| wiek | 2520658.8 |
0,0065 |
0,0074 |
4,969 |
356784 |
0,0033 |
200 |
| education | 2015905.4 |
0,0018 |
-0,0080 |
5,266 |
115751 |
-0,0129 |
205 |
| zawód | 1939409,3 |
0,0063 |
-0,0040 |
5.017 |
221935 |
-0,0060 |
62 |
| education_num | 1673648,4 |
0,0023 |
-0,0066 |
6,009 |
58303 |
-0,0080 |
197 |
| fnlwgt | 1564189,0 |
-0,0002 |
-0,0038 |
9,969 |
431987 |
-0,0049 |
0 |
| hours_per_week | 1333976,3 |
0,0030 |
0,0007 |
6,393 |
206526 |
-0,0031 |
20 |
| capital_loss | 866863.8 |
0,0060 |
0,0020 |
8,076 |
58531 |
0,0118 |
1 |
| klasa robocza | 644208.4 |
0,0025 |
-0,0019 |
9,898 |
132196 |
-0,0023 |
0 |
| native_country | 538841,2 |
0,0001 |
-0,0016 |
9,434 |
67211 |
-0,0058 |
0 |
| seks | 226049,3 |
0,0002 |
0,0002 |
10,911 |
37754 |
-0,0011 |
13 |
| rasa | 168180,9 |
-0,0006 |
-0,0004 |
11,571 |
42262 |
-0,0031 |
0 |
Jak widać, różne definicje ważności zmiennych mają różne skale. co może prowadzić do różnic w rankingu tych funkcji.
Zmienne znaczenia, które pochodzą ze struktury modelu (np. suma wynik, średnia minimalna głębokość, liczba węzłów i liczba pierwiastków z tabeli powyżej) są obliczane w podobny sposób dla drzew decyzyjnych (patrz sekcja „Koszyk | Zmienne znaczenie”) i losowe lasy.
znaczenie zmiennej permutacji (np. średnie obniżenie wartości {accuracy, auc, pr-auc} w tabeli powyżej) to miary niezależne od modelu, które można obliczyć na podstawie dowolnego modelu systemów uczących się ze zbiorem danych do weryfikacji. Z losowym lasem jednak zamiast używać zbioru danych do walidacji, możesz obliczyć permutację zmiennego znaczenia przy przeprowadzaniu oceny bezpośredniej.
SHAP (SHapley Additive exPlanations) to niewymagająca modelu metoda do wyjaśniają poszczególne prognozy lub interpretację na podstawie modelu. (Zobacz Interpretowalne systemy uczące się autorstwa Molnara jako wstępu do interpretacji niezależnej od modelu). SHAP to jest zwykle drogie w obliczeniach, ale może być przyspieszył znacznie proces podejmowania decyzji. dlatego dobrze jest interpretować lasy decyzyjne.
Przykład zastosowania
Na poprzedniej lekcji trenowaliśmy drzewo decyzyjne CART na małym zbiorze danych.
dzwoniąc pod numer tfdf.keras.CartModel. Aby wytrenować losowy model lasu,
po prostu zastąp tfdf.keras.CartModel elementem tfdf.keras.RandomForestModel:
model = tfdf.keras.RandomForestModel()
model.fit(tf_train_dataset)
Zalety i wady
Ta sekcja zawiera krótkie podsumowanie zalet i wad losowych lasów.
Zalety:
- Podobnie jak drzewa decyzyjne, lasy losowe obsługują natywnie wartości liczbowe i cechuje się właściwościami kategorialnymi i często nie wymagają wstępnego przetwarzania cech.
- Drzewa decyzyjne są niezależne, więc losowe lasy można trenować równoległe. Można szybko wytrenować losowe lasy.
- Lasy losowe mają parametry domyślne, które często dają świetne wyniki. Dostrajanie te parametry często mają niewielki wpływ na model.
Wady:
- Drzewa decyzyjne nie są przycinane, więc mogą być duże. Modele z większą liczbą więcej niż 1 mln węzłów jest wspólnych. Rozmiar (a tym samym szybkość wnioskowania) Czasami problemem jest losowy las.
- Lasy losowe nie mogą uczyć się ani ponownie wykorzystywać wewnętrznych reprezentacji. Każdy drzewo decyzyjne (i każda gałąź każdego drzewa decyzyjnego) musi nauczyć się wzorcem zbioru danych. W niektórych zbiorach danych, zwłaszcza nietabelowych (np. obrazach, tekstu), powoduje to uzyskanie gorszych wyników w przypadku lasów losowych niż inne metody.