ディシジョン ツリー: 理解度をチェック

このページでは、「トレーニングのディシジョン ツリー」の教材で説明されている一連の問題に解答します。

問題 1

数値特徴を負の値に置き換える（たとえば、値 +8 を -8 に変更する）と、正確な数値スプリッターを基準にどのような影響がありますか？

同じ条件が学習されます。ポジティブ/ネガティブな子のみが切り替えられます。

いや、素晴らしい。

さまざまな条件が学習されますが、ディシジョン ツリーの全体的な構造は同じです。

対象物が変化すると条件も変化します。

ディシジョン ツリーの構造はまったく異なります。

ディシジョン ツリーの構造は、実際にはほぼ同じです。ただし、条件は変わります。

問題 2

X の候補のしきい値の半分（ランダムに選択された）だけをテストした場合の効果を最もよく表している回答を、次の中から 2 つ選んでください。

情報ゲインはそれ以上となります。

情報ゲインはそれ以下になります。

よくできました。

最終的なディシジョン ツリーではテストの精度が落ちます。

最終的なディシジョン ツリーではトレーニングの精度が向上します。

よくできました。

Question 3

「情報ゲイン」と「しきい値」曲線のどちらがローカル最大値にある場合、どうなるでしょうか。

ローカルの最大値を複数指定することはできません。

ローカルの最大値は複数指定できます。

アルゴリズムは、最小のしきい値を持つローカル最大値を選択します。

アルゴリズムによってグローバル最大値が選択されます。

よくできました。

Question 4

次の分割の情報ゲインを計算します。

ノード	ポジティブ サンプルの数	ネガティブ サンプルの数
親ノード	10	6
最初のお子様	8	2
2 人目の子供	2	4

アイコンをクリックすると、回答が表示されます。

# Positive label distribution
p_parent = 10 / (10+6) # = 0.625
p_child_1 = 8 / (8+2) # = 0.8
p_child_2 = 2 / (2+4) # = 0.3333333

# Entropy
h_parent = -p_parent * log(p_parent) - (1-p_parent) * log(1-p_parent) # = 0.6615632
h_child_1 = ... # = 0.5004024
h_child_2 = ... # = 0.6365142

# Ratio of example in the child 1
s = (8+2)/(10+6)
f_final = s * h_child_1 + (1-s) * h_child_2 # = 0.5514443

information_gain = h_parent - f_final # = 0.1101189

---