Деревья решений: проверьте свое понимание

На этой странице вам предлагается ответить на ряд упражнений с множественным выбором по материалу, обсуждаемому в разделе «Обучение деревьев решений».

Вопрос 1

Каковы последствия замены числовых признаков их отрицательными значениями (например, изменение значения с +8 на -8) с помощью точного числового разделителя?

Будут изучены те же условия; будут переключаться только положительные/отрицательные дети.

Фантастика.

Будут изучены разные условия, но общая структура дерева решений останется прежней.

Если характеристики изменятся, то изменятся и условия.

Структура дерева решений будет совершенно другой.

Структура дерева решений будет практически такой же. Однако условия изменятся.

вопрос 2

Какие два ответа лучше всего описывают эффект тестирования только половины (выбранных случайным образом) возможных пороговых значений в X?

Прирост информации будет выше или равен.

Прирост информации будет ниже или равен.

Отличная работа.

Окончательное дерево решений будет иметь худшую точность тестирования.

Окончательное дерево решений будет иметь не лучшую точность обучения.

Отличная работа.

Вопрос 3

Что произойдет, если кривая «прироста информации» и «порога» будет иметь несколько локальных максимумов?

Невозможно иметь несколько локальных максимумов.

Возможны множественные локальные максимумы.

Алгоритм будет выбирать локальные максимумы с наименьшим пороговым значением.

Алгоритм выберет глобальный максимум.

Отличная работа.

Вопрос 4

Вычислите информационный прирост следующего разделения:

Узел	# положительных примеров	# отрицательных примеров
родительский узел	10	6
Первый ребенок	8	2
второй ребенок	2	4

Нажмите на значок, чтобы увидеть ответ.

# Positive label distribution
p_parent = 10 / (10+6) # = 0.625
p_child_1 = 8 / (8+2) # = 0.8
p_child_2 = 2 / (2+4) # = 0.3333333

# Entropy
h_parent = -p_parent * log(p_parent) - (1-p_parent) * log(1-p_parent) # = 0.6615632
h_child_1 = ... # = 0.5004024
h_child_2 = ... # = 0.6365142

# Ratio of example in the child 1
s = (8+2)/(10+6)
f_final = s * h_child_1 + (1-s) * h_child_2 # = 0.5514443

information_gain = h_parent - f_final # = 0.1101189

---