Pohon keputusan: Menguji pemahaman Anda

Halaman ini menantang Anda untuk menjawab serangkaian latihan pilihan ganda tentang materi yang dibahas dalam unit "Pelatihan Pohon Keputusan".

Pertanyaan 1

Apa efek penggantian fitur numerik dengan nilai negatifnya (misalnya, mengubah nilai +8 menjadi -8) dengan pemisah numerik yang tepat?
Struktur pohon keputusan akan sepenuhnya berbeda.
Kondisi yang sama akan dipelajari; hanya turunan positif/negatif yang akan diubah.
Kondisi yang berbeda akan dipelajari, tetapi struktur keseluruhan hierarki keputusan akan tetap sama.

Pertanyaan 2

Manakah dua jawaban yang paling tepat mendeskripsikan efek pengujian hanya setengah (dipilih secara acak) dari nilai nilai minimum kandidat di X?
Akurasi pengujian pohon keputusan akhir akan lebih buruk.
Perolehan informasi akan lebih rendah atau sama.
Akurasi pelatihan pohon keputusan akhir tidak akan lebih baik.
Perolehan informasi akan lebih tinggi atau sama.

Pertanyaan 3

Apa yang akan terjadi jika kurva "information gain" versus "threshold" memiliki beberapa maksimum lokal?
Algoritma akan memilih maksimum lokal dengan nilai nilai minimum.
Tidak mungkin memiliki beberapa maksimum lokal.
Algoritme akan memilih maksimum global.

Pertanyaan 4

Hitung perolehan informasi dari pemisahan berikut:

Node # of positive examples # of negative examples
node induk 10 6
anak pertama 8 2
anak kedua 2 4
# Positive label distribution
p_parent = 10 / (10+6) # = 0.625
p_child_1 = 8 / (8+2) # = 0.8
p_child_2 = 2 / (2+4) # = 0.3333333

# Entropy
h_parent = -p_parent * log(p_parent) - (1-p_parent) * log(1-p_parent) # = 0.6615632
h_child_1 = ... # = 0.5004024
h_child_2 = ... # = 0.6365142

# Ratio of example in the child 1
s = (8+2)/(10+6)
f_final = s * h_child_1 + (1-s) * h_child_2 # = 0.5514443

information_gain = h_parent - f_final # = 0.1101189