このページは Cloud Translation API によって翻訳されました。

線形回帰: 勾配降下法

勾配降下法は、重みとバイアスを繰り返し求める数学的手法によって、損失の最も低いモデルを返します。勾配降下法で最適な重みとバイアスを見つけるユーザー定義のイテレーションの数で次のプロセスを繰り返す。

ランダムな重みとバイアスがゼロに近い状態でモデルのトレーニングが開始されます。その後、次の手順を繰り返します。

現在の重みとバイアスで損失を計算します。
損失を減らす重みとバイアスの方向を決定します。
重みとバイアスの値を小さくする方向に少しだけ動かします。損失です。
ステップ 1 に戻り、モデルが損失を回避できます。

下の図は、勾配降下法によって検出される反復ステップの概要損失を最小限に抑えるモデルの重みとバイアスです。

図 12. 勾配降下プロセスのイラスト。

図 12. 勾配降下法とは、重みを求める反復処理損失が最小になるモデルが生成されます。

勾配降下法の背後にある計算の詳細を確認するには、プラスアイコンをクリックします。

具体的には、勾配降下法の手順を自動車の重さをポンド単位で 7 つの例を含む小さなデータセットを使用およびその 1 ガロンあたりのマイル（マイル）評価：

ポンド（1,000 ポンド）（機能）	マイル/ガロン（ラベル）
3.5	18
3.69	15
3.44	18
3.43	16
4:34	15
442	14
2.37	24

モデルのトレーニングを開始するには、重みとバイアスを 0 に設定します。

$$ \small{Weight:\ 0} $$ $$ \small{Bias:\ 0} $$ $$ \small{y = 0 + 0(x_1)} $$

現在のモデルパラメータで MSE 損失を計算する:

$$ \small{Loss = \frac{(18-0)^2 + (15-0)^2 + (18-0)^2 + (16-0)^2 + (15-0)^2 + (14-0)^2 + (24-0)^2}{7}} $$ $$ \small{Loss= 303.71} $$

重みごとに損失関数の正接の傾きを計算するバイアス:

$$ \small{Weight\ slope: -119.7} $$ $$ \small{Bias\ slope: -34.3} $$

プラスアイコンをクリックすると、傾きの計算の詳細が表示されます。

重みに接する線の傾きを求めるには、損失関数の微分を重みとバイアスの関係を学習し、方程式。

予測を行うための方程式は、次のように記述します。
$ f_{w,b}(x) = (w*x)+b $ です。

実際の値は「$ y $」と記述します。

MSE は次のように計算されます。
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $
ここで、$i$ は $ith$ のトレーニング例、$M$ は例の数によって決まります

重み微分

重みに対する損失関数の微分は、次のように記述します。
$ \frac{\partial }{\partial w} \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $

次のように評価されます。
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)}) * 2x_{(i)} $

まず、それぞれの予測値から実際の値を差し引く特徴値を 2 倍掛けますその合計をサンプル数で除算します。結果として、値に接する線の傾きが表します。

この方程式を重みとバイアスが直線の傾きは -119.7 になります。

バイアス微分

損失関数の微分係数と損失関数のバイアスは次のように記述します。
$ \frac{\partial }{\partial b} \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $

次のように評価されます。
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)}) * 2 $

まず、それぞれの予測値から実際の値を差し引く 2 を掛けます次に、その合計を例の数になります。結果として、直線の傾きがバイアスの値に正接します

この方程式を重みとバイアスが直線の傾きは -34.3 になります。

負の傾きの方向に少しだけ動かして、重みとバイアスが変化しますここでは、自由に定義して、「少量」0.01 として:

$$ \small{New\ weight = old\ weight - (small\ amount * weight\ slope)} $$ $$ \small{New\ bias = old\ bias - (small\ amount * bias\ slope)} $$ $$ \small{New\ weight = 0 - (0.01)*(-119.7)} $$ $$ \small{New\ bias = 0 - (0.01)*(-34.3)} $$ $$ \small{New\ weight = 1.2} $$ $$ \small{New\ bias = 0.34} $$

新しい重みとバイアスを使用して損失を計算し、同じ手順を繰り返します。完了反復処理を 6 回繰り返すと、重み、バイアス、損失があります。

繰り返し	重量	バイアス	損失（MSE）
1	0	0	303.71
2	1.2	0.34	170.67
3	2.75	0.59	67.3
4	3.17	0.72	5,063
5	3.47	0.82	42.1
6	3.68	0.9	37.74

重みとバイアスを更新するたびに損失が小さくなっていることがわかります。この例では、6 回の反復処理の後に停止しています。実際には、モデルは次の状態になるまでトレーニング収束します。モデルが収束しても、イテレーションを追加しても損失は減少しない勾配降下法で近似的に想定される重みとバイアスが損失を最小限に抑えることができます。

収束を過ぎてもモデルのトレーニングが続くと、損失がモデルが継続的に更新されるため、少量で変動します。その最小値を中心として計算されますこれにより、モデルが実際に収束したことを確認します。モデルの確認収束したので、損失が収束するまでトレーニングを示します。