ニューラル ネットワークが非線形の問題にどのように役立つかを確認するために、 線形モデルをグラフで表現します
図 3. グラフとしての線形モデル。
青い円はそれぞれ入力特徴を表し、緑の円は 入力の加重合計です。
非線形の処理能力を高めるには、このモデルをどのように変更すればよいでしょうか。 どうすればよいでしょうか。
隠れ層
次のグラフで表されるモデルには、「隠れ層」を追加しています。 中間値の集合です隠れ層の各黄色のノードは加重合計 Blue 入力ノード値のモデルです。出力は、黄色の特徴量の加重合計で 説明します。
図 4. 2 層モデルのグラフ。
このモデルは線形ですか？はい。その出力は引き続き次の線形結合です。 表示されます。
次のグラフで表されるモデルでは、2 つ目の隠れ層を レイヤに分割されます。
図 5. 3 層モデルのグラフ。
このモデルはまだ線形ですか？はい、そうです。出力を 単純化して加重和を合計すると、 あります。この合計では、図 2 の非線形問題は効果的にモデル化されません。
活性化関数
非線形の問題をモデル化するには、非線形性を直接導入できます。Google では、 各隠れ層ノードを非線形関数でパイプします。
次のグラフで表されるモデルでは、各ノードの値は、 隠れ層 1 は、非線形関数によって変換されてから渡される 次のレイヤの加重合計に適用されます。この非線形関数は、トレーニング プロセスで 活性化関数です
図 6. 活性化関数を含む 3 層モデルのグラフ。
活性化関数を追加したので、レイヤを追加するとインパクトが強くなります。 非線形性に非線形性を積み重ねることで、モデル化が非常に複雑になる 入力と予測出力の関係の変化を示します簡単に言うと、 より複雑で高水準の関数を効率的に学習しています。 生成します。この仕組みについて理解を深めたい場合は、 Chris Olah の優れたブログ投稿。
一般的な活性化関数
次のシグモイド活性化関数は、加重合計を 0 ～ 1 の値にする必要があります。
以下にプロットを示します。
図 7. シグモイド活性化関数
次の 正規化線形ユニット活性化関数（または ReLU）は、 シグモイドのような滑らかな関数より少しうまく 非常に簡単になります
ReLU の優位性は経験的な調査結果に基づいており、おそらく ReLU が推進する 応答性が向上していますシグモイドの応答性は 比較的短時間で停止できます
図 8. ReLU 活性化関数
実際、どのような数学関数も活性化関数として機能します。 \(\sigma\) が活性化関数であるとする （Relu、Sigmoid など）。 したがって、ネットワーク内のノードの値は 数式:
概要
これでモデルには、ユーザーが通常使用するものと同様の標準コンポーネントがすべて 「ニューラル ネットワーク」の意味は次のとおりです。
- ニューロンに似たノードの集合。レイヤで編成されます。
- 各ニューラル ネットワーク間の接続を表す重みのセット その下のレイヤで作成されます。その下のレイヤは、 ニューラル ネットワーク層などに分けられます。
- ノードごとに 1 つずつ、一連のバイアス。
- レイヤ内の各ノードの出力を変換する活性化関数。 層によって活性化関数が異なる場合があります。
注意点: ニューラル ネットワークは、必ずしも ニューラル ネットワークは、有効な特徴量クロスを 多くの場合 うまくいきます