此页面由 Cloud Translation API 翻译。

梯度提升（可选单元）

在回归问题中，将有符号误差定义为预测值与标签之间的差值是合理的。不过，对于其他类型的问题，这种策略通常会导致效果不佳。在梯度提升中，更好的策略是：

形式上，给定损失函数 $L(y,p)$ （其中 $y$ 是标签， $p$ 是预测），用于在第 $i$ 步训练弱模型的伪响应 $z_i$ 为：

z_{i} = \frac{\partial L (y, F_{i})}{\partial F_{i}}

$z_i = \frac {\partial L(y, F_i)} {\partial F_i}$

其中：

上面的示例是一个回归问题：目标是预测数值。对于回归问题，平方误差是一个常见的损失函数：

L (y, p) = (y - p)^{2}

$L(y,p) = (y - p)^2$

在本例中，梯度为：

z = \frac{\partial L (y, F_{i})}{\partial F_{i}} = \frac{\partial (y - p)^{2}}{\partial p} = - 2 (y - p) = 2 signed error

$z = \frac {\partial L(y, F_i)} {\partial F_i} = \frac {\partial(y-p)^2} {\partial p} = -2(y - p) = 2 \ \text{signed error}$

换句话说，梯度是示例中带有系数 2 的有符号误差。请注意，由于收缩，常量因子不重要。请注意，只有对于使用平方误差损失函数的回归问题，此等式才成立。对于其他监督学习问题（例如分类、排名、使用百分位损失函数的回归），梯度和有符号误差之间并不等价。

使用牛顿方法步骤优化叶和结构

牛顿法是一种优化方法，与梯度下降法类似。不过，与仅使用函数梯度进行优化的梯度下降法不同，牛顿法同时使用函数的梯度（一阶导数）和二阶导数进行优化。

梯度下降法的步骤如下：

x_{i + 1} = x_{i} - \frac{d f}{d x} (x_{i}) = x_{i} - f^{'} (x_{i})

$x_{i+1} = x_i - \frac {df}{dx}(x_i) = x_i - f'(x_i)$

和牛顿法如下所示：

x_{i + 1} = x_{i} - \frac{\frac{d f}{d x} (x_{i})}{\frac{d^{2} f}{d^{2} x} (x_{i})} = x_{i} - \frac{f^{'} (x_{i})}{f^{″} (x_{i})}

$x_{i+1} = x_i - \frac {\frac {df}{dx} (x_i)} {\frac {d^2f}{d^2x} (x_i)} = x_i - \frac{f'(x_i)}{f''(x_i)}$

您可以通过以下两种方式将牛顿法集成到梯度提升树的训练中（可选）：

YDF 代码

在 YDF 中：