解開損失曲線

如果在訓練模型時,我們的所有損傷曲線都看起來像這樣,機器學習就會是一大麻煩:

顯示機器學習模型訓練結果的理想損失曲線。損失曲線會和 x 軸上的訓練步驟數量,繪製出 Y 軸上的損失。隨著訓練步驟的增加,損失率將會上升,然後以指數方式減少,最後達到最小損失。

但實際上,損失曲線可能難以理解。瞭解您的理解曲線曲線,以利回答下列問題。

1. 我的型號無法訓練模型!

你的朋友 Mel,和你繼續努力達成獨角獸外觀預測器。這是您的第一筆損失曲線。

與上圖相同軸的損失曲線圖。在這裡,損失不會鬆脫,而是在逐漸增加和減少的情況下,使得讓資料會振盪。

說明問題和 Mel 的修正方式:

2. 我的損失爆炸!

Mel 會顯示另一個曲線。這裡有什麼問題?如何修正問題? 在下方填入答案。

損失曲線圖顯示如何將損失減少至特定訓練步驟,然後隨著後續訓練步驟逐漸增加。

3. 我的指標互相牴觸!

Mel 希望再接再厲。問題出在哪裡? 該如何修正問題?在下方填入答案。

圖片顯示兩個情節。左圖為理想的損失曲線。
右側圖表顯示訓練指標保持為 0 時,即使訓練步驟的數量增加。

說明問題和 Mel 的修正方式:

4. 測試損失過高。

Mel 會顯示訓練與測試資料集的損失曲線,並詢問「問題為何?」,請在下方撰寫答案。

損失曲線圖,顯示在模型訓練期間訓練和測試損失之間的差異。

說明問題和 Mel 的修正方式:

5. 我的模型卡住了

當幾天後,Mels 又傳回另一項曲線,這裡出了什麼問題?如何解決這項問題?

損失曲線圖,其中顯示出從訓練到融合的損失,然後顯示矩形矩形的重複模式。

說明問題和 Mel 的修正方式:

成功了!

「現在正常運作了!」Mel 放心。她會放鬆地躺在椅子上,並挑起一隻大體重。曲線看起來會很漂亮,還能陪伴你達成目標。Mel 並花點時間花點時間討論以下有關模型驗證的額外檢查作業。

  • 實際指標
  • 基準
  • 迴歸問題的絕對損失
  • 其他分類問題指標
  • 這張圖呈現融合的損失曲線。