透過下方的互動式練習,您可以進一步探索 類神經網路首先介紹參數和超參數的變更 會影響網路的預測結果接著您將運用所學 用來適應非線性資料
運動 1
下列小工具會使用下列設定來設定類神經網路:
- 有 3 個神經元的輸入層,內含值
0.00
、0.00
和0.00
- 有 4 個神經元的隱藏層
- 含有 1 個神經元的輸出層
- ReLU 活化函數套用至 所有隱藏層節點和輸出節點
查看網路的初始設定 (注意:請不要點選 ▶️ 或 >| 按鈕),然後完成小工具下方的工作。
工作 1
類神經網路模型的三個輸入特徵值
0.00
。按一下網路中的每個節點,即可查看所有已初始化的節點
輕鬆分配獎金輕觸「播放」按鈕 (▶️) 前,請先回答以下問題:
現在請點選網路上方的「播放」按鈕 (▶️),然後觀看所有隱藏層 並填入輸出節點值上方答案是否正確?
按這裡查看說明
您取得的確切輸出值會因權重 和偏誤參數會隨機初始化不過,由於每個神經元 值為 0,表示系統會根據權重來計算 隱藏層節點值舉例來說 隱藏層節點的計算方式如下:
y = ReLU(w11* 0.00 + w21* 0.00 + w31* 0.00 + b)
y = 關係學習(b)
因此每個隱藏層節點的值都等於 偏誤 (b);b 時為 0,如果 b 為負數,則為 0;如果 b 為 0 或 正面影響。
輸出節點的值計算方式如下:
y = ReLU(寬11* x11 + 寬21* x21 + 寬31* x31 + 寬41* x41 + b)
工作 2
修改類神經網路之前,請先回答下列問題:
現在修改類神經網路,新增含有 3 個節點的隱藏層,如下所示:
- 按一下文字「1 個隱藏圖層」左側的「+」按鈕,即可新增圖層 隱藏資料層
- 在新的隱藏層上方按兩下「+」按鈕,即可再新增 2 個節點 新增至該圖層
上方答案是否正確?
按這裡查看說明
只有輸出節點會變更。因為在這個類神經網路的推論 是「feed-forward」(從開始到結束的計算進度)、加上 新資料層的可用性只會在新層後受到影響 而非前面的資料層
工作 3
在網路的第一個隱藏層,按一下第二個節點 (從頂端開始) 圖表。變更網路設定之前,請先回答 下列問題:
接著,按一下權重 w12 (顯示在
第一個輸入節點 (x1)),將其值變更為 5.00
,然後按下 Enter 鍵。
觀察圖表的變化。
你的答案是否正確?驗證答案時請務必謹慎: 值沒有變化,這是否表示基礎計算沒有改變?
按這裡查看說明
在第一個隱藏層中,唯一受影響的節點是第二個節點 ( 也就是您按下的按鈕)。計算第一個值時 隱藏層不包含 w12 做為參數 可能會受到影響第二個隱藏層中的所有節點都會受到影響,因為 計算依據為第一個節點的值 隱藏層同樣地,輸出節點值也會受到影響 計算方式取決於第二個隱藏層中的節點值。
您認為答案是否「無」因為這個叢集中沒有任何節點值 您變更權重值時會發生什麼情況?請注意 節點的計算結果可能會變動,但不會變更節點的值 (例如:ReLU(0) 和 ReLU(–5) 都會產生 0 的輸出內容。 請勿假設只有 包括節點值請務必檢查計算結果
運動 2
在「功能交叉練習」中 「類別資料模組」 您手動建構的特徵會交錯組合,以符合非線性資料。 瞭解您能不能建構可自動學習的類神經網路 如何在訓練過程中適應非線性資料
您的工作:設定類神經網路,可以將橘點與 下圖中的藍點,兩個儲存格中的 訓練和測試資料
Instructions:
在下方的互動式小工具中:
- 透過實驗修改類神經網路超參數
以下設定:
- 按一下「+」和「-」按鈕,即可新增或移除隱藏圖層 位於網路圖表中「HIDDEN LAYERS」標題的左側。
- 如要新增或移除隱藏層中的神經元,請按一下「+」和「-」 按鈕。
- 如要變更學習率,請從學習率中選取新的值 下拉式選單
- 如要變更啟用函式,請從 圖表上方的「Activation」(啟用) 下拉式選單。
- 點選圖表上方的「播放」按鈕 (▶️) 來訓練類神經網路 運用指定參數建立模型
- 觀察模型的視覺化呈現方式,將資料調整為訓練範圍 相關進度和 測試損失和 訓練損失值 「Output」(輸出) 區段。
- 如果模型的測試和訓練資料損失不會低於 0.2, 請按一下重設,然後使用不同的設定重複步驟 1 到 3 可以管理叢集設定,像是節點 資源調度、安全性和其他預先設定項目重複這個流程,直到達到偏好的結果為止。
按一下這裡查看解決方案
我們透過以下方式,使測試與訓練的損失達到 0.2 以下:
- 新增 1 個包含 3 個神經元的隱藏層。
- 選擇 0.01 的學習率。
- 選擇 ReLU 的活化函數。