分類:預測偏誤

計算預測偏差是快速檢查,可及早標記模型或訓練資料的問題。

預測偏差是模型預測的平均值與資料中真值標籤平均值之間的差異。如果模型是根據 5% 的電子郵件為垃圾郵件的資料集訓練而成,那麼平均來說,模型分類的電子郵件中,應該有 5% 是垃圾郵件。換句話說,真值資料集中的標籤平均值為 0.05,模型的預測值平均值也應為 0.05。如果是這樣,模型預測偏差為零。當然,模型可能仍有其他問題。

如果模型預測電子郵件為垃圾郵件的機率為 50%,則表示訓練資料集、模型套用的新資料集或模型本身有問題。如果兩者之間有顯著差異,表示模型存在預測偏差。

預測偏誤的成因可能如下:

  • 資料中的偏誤或雜訊,包括訓練集的取樣偏誤
  • 正則化過於強大,表示模型過度簡化,失去一些必要的複雜性
  • 模型訓練管道中的錯誤
  • 提供給模型的特徵集不足以完成工作