本頁面由 Cloud Translation API 翻譯而成。

漸層增強 (選用單位)

在迴歸問題中，將有符號的誤差定義為預測值和標籤之間的差異，是合理的做法。不過，在其他類型的問題中，這項策略通常會導致結果不佳。在梯度提升中採用更理想的策略：

正式來說，假設損失函數為 $L(y,p)$ ，其中 $y$ 為標籤， $p$ 為預測值，則用於在步驟 $i$ 訓練弱模型的偽回應 $z_i$ 為：

z_{i} = \frac{\partial L (y, F_{i})}{\partial F_{i}}

$z_i = \frac {\partial L(y, F_i)} {\partial F_i}$

其中：

上述範例是迴歸問題：目標是預測數值。在迴歸的情況下，平方誤差是常見的損失函式：

L (y, p) = (y - p)^{2}

$L(y,p) = (y - p)^2$

在本例中，漸層為：

z = \frac{\partial L (y, F_{i})}{\partial F_{i}} = \frac{\partial (y - p)^{2}}{\partial p} = - 2 (y - p) = 2 signed error

$z = \frac {\partial L(y, F_i)} {\partial F_i} = \frac {\partial(y-p)^2} {\partial p} = -2(y - p) = 2 \ \text{signed error}$

換句話說，梯度是從我們的範例中取出，並以 2 為因數的符號錯誤。請注意，由於縮減，常數因數並不重要。請注意，這種等價關係僅適用於使用平方誤差損失函數的迴歸問題。對於其他監督式學習問題 (例如分類、排名、百分位損失的迴歸)，梯度和帶有符號的錯誤之間並無對應關係。

使用牛頓方法步驟進行葉子和結構最佳化

牛頓方法是梯度下降法這類最佳化方法。不過，與梯度下降法只使用函式梯度進行最佳化不同，牛頓方法會同時使用函式的梯度 (一階導數) 和二階導數進行最佳化。

梯度下降法的步驟如下：

x_{i + 1} = x_{i} - \frac{d f}{d x} (x_{i}) = x_{i} - f^{'} (x_{i})

$x_{i+1} = x_i - \frac {df}{dx}(x_i) = x_i - f'(x_i)$

和牛頓方法如下：

x_{i + 1} = x_{i} - \frac{\frac{d f}{d x} (x_{i})}{\frac{d^{2} f}{d^{2} x} (x_{i})} = x_{i} - \frac{f^{'} (x_{i})}{f^{″} (x_{i})}

$x_{i+1} = x_i - \frac {\frac {df}{dx} (x_i)} {\frac {d^2f}{d^2x} (x_i)} = x_i - \frac{f'(x_i)}{f''(x_i)}$

您可以選擇以兩種方式將牛頓方法整合至梯度提升樹的訓練作業：

YDF 代碼

在 YDF 中：