我們先來看看類神經網路如何解決非線性問題 將線性模型表示為圖表
圖 3. 線性模式，以圖表呈現。
每個藍色圓圈代表一種輸入特徵，綠色圓圈代表 輸入內容的加權總和
如何修改這個模型，以提升處理非線性模型的能力 這類問題呢？
隱藏的圖層
在下圖所示的模型中，我們新增了「隱藏層」 中間值的值隱藏層中的每個黃色節點都是經過加權的總和 藍色輸入節點值的藍色輸出結果是黃色的加權總和 節點。
圖 4雙層模型的圖表。
這個模型是否為線性模式？是 — 輸出仍是 輸入內容
在下圖所示的模型中，我們新增了第二個隱藏 加上加權後的加總值
圖 5. 三層模型的圖表。
這個模式仍然是線性嗎？是的。當您將輸出內容表示 您會獲得輸入函數的另一個加權總和 輸入內容這項總和無法有效模擬圖 2 中的非線性問題。
啟用函式
如要模擬非線性問題，我們可以直接導入非線性問題。我們可以 以管道分隔每個隱藏層節點。
在下圖所示的模型中， 隱藏層 1 會先由非線性函式轉換，然後才會傳送至 與下一層的加權總和此非線性函式稱為 活化函數。
圖 6採用活化函數的三層模型圖表。
現在，我們新增了啟動函式，新增圖層會產生更多影響。 堆疊非線性關係中的非線性特徵，就能讓模型變得非常複雜 說明輸入內容與預測結果間的關係簡單來說 能有效學習更複雜、高階的函式 原始輸入內容如果您想深入瞭解這項功能的運作方式，請看看 Chris Olah 的優質網誌文章。
常見的啟用函式
下列 sigmoid 啟動函式會將加權總和轉換為 介於 0 到 1 之間的值。
請參考圖：
圖 7. Sigmoid 活化函數。
下列「經過調換線性單元」活化函數 (或稱 ReLU， 通常效果會比 S 函數等平滑函式來得好 而且運算量也大幅減少
ReLU 的優越性是基於經驗調查結果，可能是由 ReLU 驅動 可提供更實用的回應體驗神秘靈敏的靈巧墜機 兩邊的功能相對較快
圖 8ReLU 活化函式。
事實上，任何數學函式都可以做為活化函數。 假設 \(\sigma\) 代表我們的活化函數 (Relu、Sigmoid 或任何相關)。 因此網路中的節點值會由下列項目決定 公式：
摘要
現在，模型已取得使用者平常 定義為「類神經網路」
- 一組節點，類似神經元，結構分層。
- 一組權重，代表各個類神經網路之間的連線 先前的資料層下方的圖層可能是 類神經網路層或其他類型的資料層
- 一組偏誤，每個節點一個。
- 此啟動函式可轉換圖層中每個節點的輸出內容。 不同層可能會有不同的活化函式。
注意事項：類神經網路不一定比 但類神經網路提供了一種靈活的替代方法 而且在許多情況下都能派上用場