減少損失:遊樂場運動

學習率與整合度

這是多項 Playground 練習的第一項。Playground 是專門針對這堂課程開發的計畫,旨在教導機器學習原則。本課程中的每個 Playground 練習都包含一個內嵌的遊樂場執行個體,並有預設設定。

每個 Playground 運動都會產生資料集。這個資料集的標籤有兩個可能的值。您可以將這兩個可能的值視為垃圾內容,與非垃圾內容,或是可能健康的樹木與生病的比較。大部分的練習的目標是調整各種超參數,以建構能成功分類 (分離或區分) 不同標籤值的模型。請注意,大多數資料集都包含特定數量的雜訊,因此無法成功分類每個範例。

本練習的介面提供三個按鈕:

圖示 名稱 功用
重設按鈕。 重設 Iterations 重設為 0。重設模型已學習的任何權重。
步驟按鈕。 步驟 提前一項疊代。每次疊代後,模型都會改變,有時甚至會稍微大幅變化。
重新產生按鈕。 重新產生 產生新的資料集。不會重設 Iterations

在第一個 Playground 練習中,您將執行兩項工作來測試學習率。

工作 1:注意 Playground 右上方的「學習率」選單。給定的學習率 (3) 非常高。按一下「Step」按鈕 10 或 20 次,觀察高學習率對模型的影響。每次提早疊代後 請留意模型視覺呈現的變化您甚至在模型似乎已轉換「之後」,看到不穩定。另請注意,從 x1 和 x2 到模型視覺化這幾行。這些線條的權重代表模型中這些特徵的權重。也就是說,線條表示粗細。

工作 2:執行下列操作:

  1. 按下「重設」按鈕。
  2. 降低學習率
  3. 按幾次「步驟」按鈕。

低學習率對收斂效果有什麼影響?請檢查模型收斂所需的步數,以及模型融合的流暢度與穩定度。試著稍微降低學習率您是否認為學習率太慢,幫不上忙?(您將可在練習下方找到討論內容)。