類神經網路:互動式練習

透過下方的互動式練習,您可以進一步探索 類神經網路首先介紹參數和超參數的變更 會影響網路的預測結果接著您將運用所學 用來適應非線性資料

運動 1

下列小工具會使用下列設定來設定類神經網路:

  • 有 3 個神經元的輸入層,內含值 0.000.000.00
  • 有 4 個神經元的隱藏層
  • 含有 1 個神經元的輸出層
  • ReLU 活化函數套用至 所有隱藏層節點和輸出節點

查看網路的初始設定 (注意:請不要點選 ▶️>| 按鈕),然後完成小工具下方的工作。

工作 1

類神經網路模型的三個輸入特徵值 0.00。按一下網路中的每個節點,即可查看所有已初始化的節點 輕鬆分配獎金輕觸「播放」按鈕 (▶️) 前,請先回答以下問題:

您屬於何種輸出值? 產值會是正面、負面或 0?
輸出正值
輸出值負值
輸出值 0

現在請點選網路上方的「播放」按鈕 (▶️),然後觀看所有隱藏層 並填入輸出節點值上方答案是否正確?

按這裡查看說明

您取得的確切輸出值會因權重 和偏誤參數會隨機初始化不過,由於每個神經元 值為 0,表示系統會根據權重來計算 隱藏層節點值舉例來說 隱藏層節點的計算方式如下:

y = ReLU(w11* 0.00 + w21* 0.00 + w31* 0.00 + b)

y = 關係學習(b)

因此每個隱藏層節點的值都等於 偏誤 (b);b 時為 0,如果 b 為負數,則為 0;如果 b 為 0 或 正面影響。

輸出節點的值計算方式如下:

y = ReLU(寬11* x11 + 寬21* x21 + 寬31* x31 + 寬41* x41 + b)

工作 2

修改類神經網路之前,請先回答下列問題:

如果新增其他隱藏層 傳送至類神經網路,為這個新的第 3 層節點提供 輸入和權重/偏誤參數相同計算 會受到影響嗎?
所有節點 除了輸入節點以外
只是 第一個隱藏層
只有輸出節點

現在修改類神經網路,新增含有 3 個節點的隱藏層,如下所示:

  1. 按一下文字「1 個隱藏圖層」左側的「+」按鈕,即可新增圖層 隱藏資料層
  2. 在新的隱藏層上方按兩下「+」按鈕,即可再新增 2 個節點 新增至該圖層

上方答案是否正確?

按這裡查看說明

只有輸出節點會變更。因為在這個類神經網路的推論 是「feed-forward」(從開始到結束的計算進度)、加上 新資料層的可用性只會在新層後受到影響 而非前面的資料層

工作 3

在網路的第一個隱藏層,按一下第二個節點 (從頂端開始) 圖表。變更網路設定之前,請先回答 下列問題:

如果您將 權重 w12 (顯示於第一個輸入節點下方,x1) 某些輸入值可能會受到影響 價值觀?
第二個節點 第一層隱藏層、第二個隱藏層中的所有節點 輸出節點
位於 第二個隱藏層、第二個隱藏層,以及輸出層

接著,按一下權重 w12 (顯示在 第一個輸入節點 (x1)),將其值變更為 5.00,然後按下 Enter 鍵。 觀察圖表的變化。

你的答案是否正確?驗證答案時請務必謹慎: 值沒有變化,這是否表示基礎計算沒有改變?

按這裡查看說明

在第一個隱藏層中,唯一受影響的節點是第二個節點 ( 也就是您按下的按鈕)。計算第一個值時 隱藏層不包含 w12 做為參數 可能會受到影響第二個隱藏層中的所有節點都會受到影響,因為 計算依據為第一個節點的值 隱藏層同樣地,輸出節點值也會受到影響 計算方式取決於第二個隱藏層中的節點值。

您認為答案是否「無」因為這個叢集中沒有任何節點值 您變更權重值時會發生什麼情況?請注意 節點的計算結果可能會變動,但不會變更節點的值 (例如:ReLU(0) 和 ReLU(–5) 都會產生 0 的輸出內容。 請勿假設只有 包括節點值請務必檢查計算結果

運動 2

在「功能交叉練習」中 「類別資料模組」 您手動建構的特徵會交錯組合,以符合非線性資料。 瞭解您能不能建構可自動學習的類神經網路 如何在訓練過程中適應非線性資料

您的工作:設定類神經網路,可以將橘點與 下圖中的藍點,兩個儲存格中的 訓練和測試資料

Instructions:

在下方的互動式小工具中:

  1. 透過實驗修改類神經網路超參數 以下設定:
    • 按一下「+」和「-」按鈕,即可新增或移除隱藏圖層 位於網路圖表中「HIDDEN LAYERS」標題的左側。
    • 如要新增或移除隱藏層中的神經元,請按一下「+」和「-」 按鈕。
    • 如要變更學習率,請從學習率中選取新的值 下拉式選單
    • 如要變更啟用函式,請從 圖表上方的「Activation」(啟用) 下拉式選單。
  2. 點選圖表上方的「播放」按鈕 (▶️) 來訓練類神經網路 運用指定參數建立模型
  3. 觀察模型的視覺化呈現方式,將資料調整為訓練範圍 相關進度和 測試損失訓練損失值 「Output」(輸出) 區段。
  4. 如果模型的測試和訓練資料損失不會低於 0.2, 請按一下重設,然後使用不同的設定重複步驟 1 到 3 可以管理叢集設定,像是節點 資源調度、安全性和其他預先設定項目重複這個流程,直到達到偏好的結果為止。

按一下這裡查看解決方案

我們透過以下方式,使測試與訓練的損失達到 0.2 以下:

  • 新增 1 個包含 3 個神經元的隱藏層。
  • 選擇 0.01 的學習率。
  • 選擇 ReLU 的活化函數。