ディシジョン ツリー: 理解度を確認する

このページでは、一連の多肢選択式の問題に答えていただきます。 「トレーニング ディシジョン ツリー」で取り上げた資料についてあります。

問題 1

数値特徴量を （たとえば、値を +8 から -8 に変更するなど）を どうすればよいでしょうか。

同じ条件が学習されます。のみ ポジティブ/ネガティブの子が切り替わります。

すばらしい

さまざまな条件が学習されますが、全体的な構造は 意思決定ツリーは変わりません

特徴が変化すれば、条件も変わる。

ディシジョン ツリーの構造は、完全に 異なります

ディシジョン ツリーの構造は、実際には これはほぼ同じですただし、条件は変わります。

問題 2

半分だけテストした場合の効果について、最も適切に説明している答えを 2 つ選択してください。 （ランダムに選択される）でしょうか。

情報利得は同等以上になります。

情報利得はそれ以下になるでしょう。

よくできました。

最終的なディシジョン ツリーではテストの精度が低下します。

最終的なディシジョン ツリーではトレーニング精度が上がりません。

よくできました。

問題 3

もし「情報ゲイン」が対「しきい値」曲線 どうすればよいでしょうか。

局所的な最大値を複数持つことは不可能です。

局所的に複数の最大値が存在する可能性がある。

アルゴリズムにより、最も小さい値を持つ局所的な最大値が選択されます。 減らします。

アルゴリズムによってグローバル最大値が選択されます。

よくできました。

問題 4

次の分割の情報ゲインを計算します。

ノード	肯定的な例の数	除外キーワードの数 例
親ノード	10	6
最初の子供	8	2
2 人目の子ども	2	4

アイコンをクリックすると、答えが表示されます。

# Positive label distribution
p_parent = 10 / (10+6) # = 0.625
p_child_1 = 8 / (8+2) # = 0.8
p_child_2 = 2 / (2+4) # = 0.3333333

# Entropy
h_parent = -p_parent * log(p_parent) - (1-p_parent) * log(1-p_parent) # = 0.6615632
h_child_1 = ... # = 0.5004024
h_child_2 = ... # = 0.6365142

# Ratio of example in the child 1
s = (8+2)/(10+6)
f_final = s * h_child_1 + (1-s) * h_child_2 # = 0.5514443

information_gain = h_parent - f_final # = 0.1101189

---