このページは Cloud Translation API によって翻訳されました。

勾配ブースト（オプションの単位）

回帰問題では、予測値とラベルの差として符号付き誤差を定義するのが理にかなっています。ただし、他の種類の問題では、この戦略では結果が得られないことがよくあります。勾配ブーストで使用されるより優れた戦略は次のとおりです。

正式には、損失関数 $L(y,p)$ （ $y$ はラベル、 $p$ は予測）が与えられた場合、ステップ $i$ で弱いモデルをトレーニングするために使用される疑似レスポンス $z_i$ は次のようになります。

z_{i} = \frac{\partial L (y, F_{i})}{\partial F_{i}}

$z_i = \frac {\partial L(y, F_i)} {\partial F_i}$

ここで

前述の例は回帰問題です。目標は数値を予測することです。回帰の場合、二乗誤差は一般的な損失関数です。

L (y, p) = (y - p)^{2}

$L(y,p) = (y - p)^2$

この場合、勾配は次のようになります。

z = \frac{\partial L (y, F_{i})}{\partial F_{i}} = \frac{\partial (y - p)^{2}}{\partial p} = - 2 (y - p) = 2 signed error

$z = \frac {\partial L(y, F_i)} {\partial F_i} = \frac {\partial(y-p)^2} {\partial p} = -2(y - p) = 2 \ \text{signed error}$

つまり、勾配は、係数 2 の例の符号付きエラーです。縮小のため、定数係数は重要ではありません。この同等性は、二乗誤差損失のある回帰問題にのみ当てはまります。その他の教師あり学習問題（分類、ランキング、百分位損失を使用した回帰など）では、勾配と符号付き誤差は同等ではありません。

ニュートン法ステップによるリーフと構造の最適化

ニュートン法は、勾配降下法のような最適化方法です。ただし、関数の勾配のみを使用して最適化する勾配降下法とは異なり、ニュートン法では、関数の勾配（1 階微分）と 2 階微分の両方を使用して最適化を行います。

勾配降下法のステップは次のとおりです。

x_{i + 1} = x_{i} - \frac{d f}{d x} (x_{i}) = x_{i} - f^{'} (x_{i})

$x_{i+1} = x_i - \frac {df}{dx}(x_i) = x_i - f'(x_i)$

ニュートン法は次のように定義されます。

x_{i + 1} = x_{i} - \frac{\frac{d f}{d x} (x_{i})}{\frac{d^{2} f}{d^{2} x} (x_{i})} = x_{i} - \frac{f^{'} (x_{i})}{f^{″} (x_{i})}

$x_{i+1} = x_i - \frac {\frac {df}{dx} (x_i)} {\frac {d^2f}{d^2x} (x_i)} = x_i - \frac{f'(x_i)}{f''(x_i)}$

必要に応じて、ニュートン法は次の 2 つの方法で勾配ブーストツリーのトレーニングに統合できます。

YDF コード

YDF の場合: