公平性:驗收學習成果

  1. 是非題:使用舊資料訓練模型時,就會發生歷來偏誤。

  2. 工程師正在訓練迴歸模型,根據他們從全球各地食譜網站上抓到的各式特色資料,包括料理大小、食材和製備技巧,藉此預測餐點的「熱量」。下列哪些資料問題是可能應進一步調查的偏誤來源?

    請選取所有正確答案。

  3. 以 80,000 則簡訊 (18 歲以上) 傳送 40,000 則訊息,以及由未成年人 (未滿 18 歲) 傳送 40,000 則訊息,用來偵測稀疏偵測模型。接著,我們以 20,000 則訊息測試集評估模型:10,000 名成人,以及 10,000 名未成年人的測試。下列混淆矩陣顯示每個群組的結果 (正向預測代表「諷刺」分類,負向預測表示「非諷刺」分類):

    成人

    真陽性 (TP):512 偽陽性 (FP):51
    偽陰性 (FN):36 真陰性 (TN):9401
    精確度 = TP/(TP + FP) = 0.909
    喚回度 = TP/(TP + FN) = 0.934

    未成年人

    真陽性 (TP):2147 偽陽性 (FP):96
    偽陰性 (FN):2177 真陰性 (TN):5580
    精確度 = TP/(TP + FP) = 0.957
    喚回度 = TP/(TP + FN) = 0.497

    以下有關模型測試集效能的敘述何者正確?

    請選取所有正確答案。

  4. 以下哪項假設可以解釋上述稀疏偵測模型測試集的子群組成效差異?

    請選取所有正確答案。

  5. 工程師正在重新訓練上述的稀疏模型,修正不同年齡客層中不相關的準確率,但模型已發布到實際工作環境。下列哪種停止缺口策略有助於減少模型預測中的錯誤?