Drzewa decyzyjne: sprawdź swoją wiedzę

Na tej stronie znajdziesz serię ćwiczeń polegających na udzielaniu odpowiedzi na pytania jednokrotnego wyboru dotyczących materiału omówionego w jednostce „Trening schematów decyzyjnych”.

Pytanie 1

Jakie są skutki zastąpienia cech liczbowych ich ujemnymi wartościami (np. zastąpienie wartości +8 wartością –8) za pomocą dokładnego rozdzielacza liczbowego?
Nauczy się on tych samych warunków, ale tylko pozytywne/negatywne dzieci zostaną przełączone.
Struktura drzewa decyzyjnego będzie zupełnie inna.
Nauczy się ono nowych warunków, ale ogólna struktura drzewa decyzji pozostanie taka sama.

Pytanie 2

Które 2 odpowiedzi najlepiej opisują efekt testowania tylko połowy (losowo wybranych) wartości progowych kandydatów w X?
Zysk informacji będzie mniejszy lub równy.
Ostateczne drzewo decyzyjne nie będzie miało lepszej dokładności uczenia się.
Zysk informacji będzie wyższy lub równy.
Ostateczne drzewo decyzyjne będzie miało gorszą dokładność testów.

Pytanie 3

Co by się stało, gdyby krzywa „wzrost informacji” w zależności od „progu” miała kilka lokalnych maksimów?
Nie można mieć wielu lokalnych maksimów.
Algorytm wybierze globalne maksimum.
Algorytm wybierze lokalne maksimum o najmniejszej wartości progowej.

Pytanie 4

Oblicz zysk informacyjny z tego podziału:

Węzeł Liczba przykładów pozytywnych Liczba przykładów naruszających zasady
węzeł nadrzędny 10 6
pierwszy element potomny 8 2
drugie dziecko 2 4 
# Positive label distribution
p_parent = 10 / (10+6) # = 0.625
p_child_1 = 8 / (8+2) # = 0.8
p_child_2 = 2 / (2+4) # = 0.3333333

# Entropy
h_parent = -p_parent * log(p_parent) - (1-p_parent) * log(1-p_parent) # = 0.6615632
h_child_1 = ... # = 0.5004024
h_child_2 = ... # = 0.6365142

# Ratio of example in the child 1
s = (8+2)/(10+6)
f_final = s * h_child_1 + (1-s) * h_child_2 # = 0.5514443

information_gain = h_parent - f_final # = 0.1101189
Wstecz
Klasyfikacja plików binarnych
Dalej
Przycinanie i dopasowanie