Decision Forest

決策樹是指由多個決策樹組成的模型，決策樹的預測結果是決策樹預測結果的匯總。這項匯總功能的實作方式取決於用於訓練決策樹的演算法。舉例來說，在多類別分類隨機森林 (一種決策樹) 中，每棵樹都會為單一類別投票，而隨機森林預測結果就是最常見的類別。在二元分類梯度提升樹狀圖 (GBT) (另一種決策樹狀圖) 中，每個樹狀圖都會輸出 logit (浮點值)，而梯度提升樹狀圖預測值則是這些值的總和，後面加上激活函式 (例如 sigmoid)。

接下來的兩章會詳細說明這兩種決策樹演算法。