當您準備用於模型訓練和評估的資料時,請務必 考量公平性問題並稽核可能 偏誤,也就是 並主動減輕影響,再將模型發布到正式環境。
哪裡可能有偏見?以下是您在資料集中應留意的紅色旗標。
缺少特徵值
如果資料集有一或多個特徵,且該特徵缺少某個大型特徵的值 或許是特定主要特徵的樣本 資料集的代表性不足
練習:隨堂測驗
這個訓練集的 5,000 個範例中有 1,500 個 缺少隨機性參數下列何者是可能的來源 你應該調查的偏誤?
非預期的特徵值
探索資料時,請一併尋找包含特徵值的範例 特別沒有特徵或異常這些未預期的功能 可能代表在資料收集或其他環節發生問題 可能引發偏誤的不準確
練習:隨堂測驗
請查看下列關於訓練救援犬的假設範例 採用率
品種 | 年齡 (年) | 體重 (磅) | 性情 | shedding_level |
---|---|---|---|---|
玩具貴賓犬 | 2 | 12 | 興奮 | 低 |
黃金獵犬 | 7 | 65 | 平靜 | 高 |
拉布拉多獵犬 | 35 | 73 | 平靜 | 高 |
法國鬥牛犬 | 0.5 | 11 | 平靜 | 媒介 |
混合品種不明 | 4 | 45 | 興奮 | 高 |
巴吉度獵犬 | 9 | 48 | 平靜 | 媒介 |
品種 | 年齡 (年) | 體重 (磅) | 性情 | shedding_level |
---|---|---|---|---|
玩具貴賓犬 | 2 | 12 | 興奮 | 低 |
黃金獵犬 | 7 | 65 | 平靜 | 高 |
拉布拉多獵犬 | 35 | 73 | 平靜 | 高 |
法國鬥牛犬 | 0.5 | 11 | 平靜 | 媒介 |
混合品種不明 | 4 | 45 | 興奮 | 高 |
巴吉度獵犬 | 9 | 48 | 平靜 | 媒介 |
通過 Guinness World Records 驗證年齡的最古老狗 原本是 Bluey 住在 29 歲又 5 個月的澳大利亞牛仔犬考量到 拉布拉多獵犬其實是 35 歲,這似乎並不容易 因此記錄犬隻年齡的機率也較高 不準確 (像是狗狗實際上 3.5 歲)。這項錯誤可能導致 也代表資料集內年齡資料出現更廣泛的準確度問題 以便進一步調查
資料偏移
資料出現任何偏差問題,某些群組或特性可能是 相對地,比起現實世界市場 在您的模型中納入偏誤
稽核模型成效時,除了查看 ,不過為了按子群組細分結果。舉例來說 為確保公平性,我們決定 只要評估整體準確率我們也應該按子群組稽核成效 確保模型針對每個犬種、年齡層 大小群組。
在本單元的後續部分,我們會在「評估偏誤」部分 深入瞭解各種依據子群組評估模型的方法。