到目前為止,我們在討論公平性指標時誤以為 和測試樣本包含該客層的 個接受評估的子群組。但情況通常並非如此。
假設我們的招生資料集並未包含完整的客層資料。 而是只記錄少部分客層的成員資格 例如選擇自行識別哪個群體的學生 相關單位。本例中,我們接受的候選名單細分為已接受 遭到拒絕的學生看起來會像這樣:
![一個由 100 名學生組成的候選人群,共分為兩組:
已拒絕的候選人 (80 名學生圖示) 和認可的候選人 (20)
學生圖示)。所有圖示都呈現灰色 (代表
客層群體不明),但 6 個圖示除外。遭拒
團體,兩個學生圖示呈陰影藍色,兩個學生圖示變成陰影
橘色。在「已接受」群組中,一個學生圖示會變成藍色,而一個是
橘線](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_counterfactual_candidate_pool.png?authuser=19&hl=zh-tw)
不能在這裡評估任一客層的模型預測結果 表示商機的對等或平等,因為我們沒有客層資料 94% 的樣本然而,就 6% 的樣本 客層特徵,我們仍可比較個別預測結果的組合 (絕大多數候選人和少數候選人) 以均衡處理
假設我們詳細審查了地圖項目資料 兩位候選人可用 (一對多數候選人和一位未成年人 下方圖片中標上星號),並且認定他們 不論在任何場合,都符合入學資格。如果模型 兩者的預測結果相同 (也就是說,兩者都拒絕 或接受兩種候選人) 表示符合counterfactual 公平性。反事實的公平性是指 除了特定敏感屬性以外,所有層面都相同的例子 也就是客層群組成員) 都應採用相同的模式 預測結果
![與上一張映像檔相同的候選集區,除了
一個藍色的學生圖示 (屬於大多數群組)
「已拒絕」的「已拒絕」學生圖示 (屬於少數少數團體)
每個群組都會標上星號,表示這兩個候選人
相同 (除客層外)。](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_counterfactual_satisfied.png?authuser=19&hl=zh-tw)
優點和缺點
先前提過,「反事實查核」的主要益處 可用於評估預測結果的公平性 就無法提供其他指標如果資料集不包含完整的 相關群組屬性的特徵值時, 以便評估公平性 商機。不過,如果這些群組屬性適用於部分群組 不過,我們能找出可比較的相等組合 從不同群體的樣本中,從業人員可以提出反事實的公平性 視為指標,向模型探測預測中潛在偏誤。
此外,因為 機會評估各個群體,能掩蓋影響 並在個別預測結果層級 並進行反事實審查例如,假設 模型接受多數團體的合格候選人,以及未成年人 具有相同比例的群體,但最符合資格的少數候選人是 其他競爭激烈的候選人 是否接受憑證您可以透過反事實的公平性分析 以便加以解決
另一方面,反事實公平性的關鍵缺點在於 讓您全面掌握模型預測結果中的偏誤。識別與 以一連串的例子補救少量不平等的做法可能不足以解釋 解決影響整個子群組的系統性偏誤問題。
如果可行的話,從業人員可以考慮兩種匯總資料 公平性分析 (使用如人口統計對等性或 ) 以及反事實公平性分析, 深入探討需要修復的潛在偏誤問題範圍
練習:隨堂測驗
![運動圖。兩組社交圈:負面
預測與正面預測。
排除預測由 50 個圓形組成:
39 個灰色圓圈、8 個藍色圓圈和 3 個橘色圓圈。一
藍色圓圈標示為「A」,一個橘色圓圈加上「A」
一個藍色圓圈加上「C」標籤
正面預測由 15 個圓形組成:
10 個灰色圓圈、3 個藍色圓圈和 2 個
橘色圓圈。一個標示「B」的藍色圓圈,有一個橘色標示
圓形標示為「B」,一個藍色圓圈標記為「C」。
圖表下方的圖例
藍色圓圈代表
多數群組都是一個範例,橘色圓圈代表
表示少數族群的例子,灰色圓圈代表
群組成員未知的例子](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_counterfactual_exercise_diagram.png?authuser=19&hl=zh-tw)
在上方圖 7 的預測結果中, 下列組合完全相同 (不包括群組成員) 樣本是否符合反事實的公平性?
摘要
客層一致、 機會平等 每項模型都提供不同的數學定義 確保模型預測的公平性這裡只列出三個例子 以及量化公平性的方法公平性的一些定義甚至會互相影響 不相容, 換句話說,要同時滿足這兩個條件 預測結果
在這種情況下,該如何選擇「右側」適合自家模型的公平性指標呢?您需要執行的操作 考量使用情境以及主要目標 您想達成的目標例如,是否的目標是達到 (在本例中,客層差異可能是最佳指標),還是 機會平等 (在這裡,機會平等可能 指標)?
如要進一步瞭解機器學習公平性並進一步探索這些問題,請參見 Solon Barocas、Moriz Hardt 和 Arvind Narayanan 的《Fairness and Machine Learning: Limitations and Opportunity》。