前述したように、 特徴クロスの演習 カテゴリデータ モジュールでは、 次の分類問題が非線形であることがわかります。
「ノンリニア」ラベルを正確に予測できないことを意味し、 \(b + w_1x_1 + w_2x_2\)形式のモデル。つまり、 「意思決定サーフェス」線ではありません。
しかし、特徴 $x_1$ と $x_2$ に対して特徴クロスを実行すると、 次に、2 つの特徴間の非線形関係を 線形モデル: $b + w_1x_1 + w_2x_2 + w_3x_3$（$x_3$ は特徴クロス） $x_1$ と $x_2$:
次のデータセットについて考えてみましょう。
前述した特徴クロスの演習を思い出してください。 このデータに線形モデルを当てはめるための 正しい特徴クロスを決定することを もう少し労力と試行錯誤が必要でした
しかし、そのようなテストをすべて自分で行う必要がないとしたらどうでしょうか。 ニューラル ネットワークは、 モデルアーキテクチャの 非線形 パターンです。ニューラル ネットワークのトレーニングでは、 自動的にモデル化する 入力データに対して実行する最適な特徴クロスを学習して、 損失です。
以降のセクションでは、ニューラル ネットワークの仕組みを詳しく見ていきます。