過度配適:解讀損失曲線

機器學習會更簡單好用 損失曲線 這顯示您初次訓練模型時的結果:

圖 20.顯示訓練 AI 模型的理想損失曲線
            機器學習模型損失曲線在 Y 軸表示損失
            與 X 軸上的訓練步數比較如同數字
            的訓練步數增加、損失開始高,然後降低
            以指數方式最終加速,最後達到最低標準
            損失
圖 20. 理想的損失曲線。

可惜的是,損失曲線通常很難解讀。使用 瞭解損失曲線,以解決此頁面上的練習。

練習 1:食用損失曲線

圖 21.損失曲線 (Y 軸的損失;訓練次數)
            步數)。
            而損失缺陷,會造成異常。
圖 21. 令人不安的損失曲線。
您可以採取哪三個做法來改善損失曲線 如圖 21 所示。
依據資料結構定義檢查資料,偵測不良樣本。 然後移除訓練集內的不良範例
是的,所有模型都適用這種做法。
降低學習率。
是的,降低學習率通常建議您在偵錯時 訓練問題
將訓練集減少至少量值得信賴的範例。
雖然這項技術聽起來像是人造的,但其實是不錯的 構思點子假設模型集中在少數一組 再逐步加入更多樣本 也許並找出造成損失曲線 振奮人心
增加訓練集內的樣本數量。
這個想法很有點想法,但不太可能加以修正 問題。
提高學習率。
一般來說,避免提高模型的學習率 學習曲線表示發生問題。

運動 2:急跳曲線的損失曲線

圖 22.損失曲線圖,顯示損失下降至
            達到一定的訓練步數,接著突然增加
            進一步訓練
圖 22.損失的銳利度升高。
下列兩項敘述何者可能有誤 圖 22 顯示爆炸損失的原因。
輸入資料包含一或多個 NaN,例如值 不會因除數為零
這種情況比您預期的更常見。
輸入資料包含突出的離群值。
有時候,由於批次重組不當,批次可能原因 包含大量離群值
學習率過低。
低學習率可能會增加訓練時間 而不是導致異常損失曲線的原因
正規化率過高。
是,非常高的正則化可能會使模型無法 converging;但這不會導致 如圖 22 所示。

練習 3:與訓練損失的差異

圖 23.訓練損失曲線呈現凝結出來
            達到一定的訓練次數後,驗證損失就會開始
            100 萬步的訓練
圖 23.驗證損失率驟增。
下列哪一項敘述最貼切 導致訓練資料中 測試集?
模型過度配適訓練集。
沒錯,可能是存在的。可能的解決方案:
  • 減少模型數量
  • 提高正則化率。
  • 確認訓練集和測試集具有統計顯著性 。
學習率過高。
如果學習率過高,訓練集的損失曲線 而不是他們的行為

運動 4:損失曲線卡住

圖 24.損失曲線的圖表,顯示損失曲線開始上升至
            但隨後顯示的重複模式
            看起來像矩形波
圖 24.達到特定步數之後的混亂損失。
下列「任一」陳述式最為可能 圖 24 中顯示的錯誤損失曲線的解釋。
訓練集包含重複的範例。
這有可能。請確保:重組範例 。
正規化率過高。
但這不太可能是問題成因。
訓練集包含太多特徵。
但這不太可能是問題成因。