公平性:減少偏誤

成為偏見的來源之一 已從訓練資料中發現,我們可以主動採取相關措施來 減少 AI 造成的影響機器學習 (ML) 有兩項主要策略 通常能消除偏見

  • 擴增訓練資料。
  • 調整模型的損失函式。

擴增訓練資料

如果訓練資料稽核發現有缺漏或錯誤, 或造成資料偏差 最直觀的問題解決方式 收集額外資料

不過,儘管擴充訓練資料可能是最理想的做法, 這是因為系統缺乏 影響資料收集作業的可用資料或資源限制。例如: 收集更多資料可能過於昂貴或耗時 法律/隱私權限制

調整模型的最佳化功能

如果無法收集額外訓練資料, 減少偏誤的方法,是調整模型期間計算損失的方式 訓練而成我們通常會使用最佳化功能,例如 對數損失,以懲罰不正確的模型 預測結果但是,記錄遺失不會使子群組成員資格進入 會考量哪些因素因此,我們不需要使用對數遺失 以公平性意識對錯誤進行懲罰 能抵銷我們在訓練資料中找到的失衡性。

TensorFlow Model Remediation 程式庫提供可用於套用 不同的模型訓練過程中的不同偏誤緩解技術:

  • MinDiff: MinDiff 的目標是平衡兩種不同資料片段的錯誤情形 (男性/女性學生與非二元學生) 表示 兩個群組的預測分佈差異

  • Counterfactual Logit Pairing: Counterfactual Logit Pairing (CLP) 旨在確保 指定的範例屬性不會影響該範例的模型 範例。舉例來說,假設訓練資料集包含兩個範例,且 特徵值相同,但其中一個 gender 值為 male 和 另一個的 gender 值為 nonbinary,CLP 會在下列情況加上懲罰 這兩個範例的預測結果並不相同

您選擇用來調整最佳化函數的技巧如下: 會視模型用途而定在下一節中 進一步探討如何執行評估模型的公平性工作 思考這些用途

練習:隨堂測驗

以下有關偏誤緩解技術的敘述何者正確?
MinDiff 和 CLP 都會對模型成效的差異進行懲罰 與敏感屬性相關聯
這兩種技術都應懲罰預測來減少偏誤,進而減少偏誤 因敏感屬性的 呈現的符記
MinDiff 會懲罰 預測不同資料切片的預測結果,CLP 則會懲罰 個別樣本的預測結果差異
MinDiff 會校正兩組的分數分佈情形,藉此解決偏誤情況 子群組。CLP 能夠確保個別範例 處理方式並非只因為其子群組成員。
在訓練資料集中加入更多範例,將有助於 抵銷模型預測結果中的偏誤
加入更多訓練樣本是很有效的策略 可以減少偏誤,但新訓練資料的組成 因為這一切都很重要如果其他訓練範例 與原始資料的差距 現有的偏誤
如果您添加更多訓練資料來減少偏誤, 訓練期間不應同時套用 MinDiff 或 CLP
擴增訓練資料並運用 MinDiff 或 CLP 等技術 相輔相成舉例來說,機器學習工程師可能可以 收集到足夠的額外訓練資料,以減少差異 再利用 MinDiff 進一步降低 剩下 50%