訓練類神經網路

反向傳播是類神經網路最常見的訓練演算法,因此,梯度下降法可用於多層類神經網路。TensorFlow 會自動處理反向傳播,因此您不需要深入瞭解演算法。如要瞭解運作方式,請參閱反向傳播演算法視覺化說明一文。捲動查看上述說明時,請注意下列事項:

  • 資料在圖表中的流動方式。
  • 動態程式設計可讓我們避免在圖表中計算大量路徑。這裡的「動態程式設計」只是用來記錄正向和反向傳遞的中繼結果。

訓練類神經網

  • 梯度很重要
    • 如果可以與眾不同,我們可以從中學習
  • 梯度很重要
    • 如果可以與眾不同,我們可以從中學習
  • 漸層會消失
    • 每增加一個資料層,就能連續地減少信號和雜訊
    • ReLus 很實用
  • 梯度很重要
    • 如果可以與眾不同,我們可以從中學習
  • 漸層會消失
    • 每增加一個資料層,就能連續地減少信號和雜訊
    • ReLus 很實用
  • 梯度可能會爆炸
    • 學習率十分重要
    • 批次正規化 (實用的 Knob) 有助於
  • 梯度很重要
    • 如果可以與眾不同,我們可以從中學習
  • 漸層會消失
    • 每增加一個資料層,就能連續地減少信號和雜訊
    • ReLus 很實用
  • 梯度可能會爆炸
    • 學習率十分重要
    • 批次正規化 (實用的 Knob) 有助於
  • ReLu 層好壞
    • 保持冷靜並降低學習率
  • 我們希望我們的功能可以合理調整
    • 相當適合以零為中心,[-1, 1] 的距離範圍通常都不錯
    • 協助梯度下降法收斂;避免 NaN 陷阱
    • 避免使用離群值也有幫助
  • 可使用一些標準方法:
    • 線性調整
    • 硬上限 (裁剪) 到最大值、最小值
    • 記錄檔資源調度
  • Dropout:另一種正規化形式,適用於 NN
  • 透過在單一漸層步驟中隨機「捨棄」單元的運作方式
    • 這裡有連接模型
  • 退出程度越高,正規化強度越強
    • 0.0 = 未正規化
    • 1.0 = 丟掉所有東西!毫無學習。
    • 中值更為實用