機器學習詞彙表:公平性

本頁面包含公平性詞彙表。如要查看所有詞彙表術語,請按這裡

A

屬性

#fairness

feature 同義。

在機器學習公平性中,屬性通常是指與個人相關的特徵。

自動化偏誤

#fairness

當人工決策者偏好自動化決策系統的最佳化建議,而非非自動化系統提供的資訊,即使自動化決策系統有誤,也一樣如此。

詳情請參閱機器學習速成課程中的「公平性:偏見類型」一文。

B

偏見 (道德/公平性)

#fairness
#fundamentals

1. 對某些事物、人或族群持有刻板印象、偏見或偏袒心態。這些偏誤可能會影響資料的收集和解讀方式、系統設計,以及使用者與系統的互動方式。這類偏誤的形式包括:

2. 系統性錯誤:這類偏誤的形式包括:

請勿與機器學習模型中的偏差項預測偏差混淆。

詳情請參閱機器學習速成課程中的「公平性:偏見類型」一文。

C

確認偏誤

#fairness

傾向以符合自己先前信念或假設的方式搜尋、解讀、偏好及回想資訊。機器學習開發人員可能會無意中以影響結果的方式收集或標記資料,以符合他們現有的想法。確認偏誤是隱性偏誤的一種形式。

實驗者偏誤是一種確認偏誤,實驗者會持續訓練模型,直到先前假設得到證實為止。

反事實公平性

#fairness

公平性指標:檢查分類器是否會為某位使用者產生與另一位使用者相同的結果,前提是兩位使用者在某些敏感屬性方面相同。評估分類器的反事實公平性,是一種找出模型中潛在偏差來源的方法。

如需更多資訊,請參閱下列任一資源:

涵蓋偏誤

#fairness

請參閱選擇偏誤

D

客層均等

#fairness

公平性指標:如果模型分類結果不依賴特定敏感屬性,則符合此指標。

舉例來說,如果小人和巨人皆申請入學 Glubbdubdrib 大學,只要小人和巨人錄取的百分比相同,就算是達成客層平衡,無論兩者平均資格是否有差異皆然。

均等機率機會均等相比,這項原則允許分類結果的總和取決於機密屬性,但不允許特定指定真相標籤的分類結果取決於機密屬性。請參閱「以更智慧的機器學習對抗歧視」一文,瞭解如何在最佳化客層平衡時權衡取捨。

如需更多資訊,請參閱機器學習速成課程中的「公平性:人口統計資料平衡」

不平等影響

#fairness

對人做出不成比例影響不同人口子群的決策。這通常是指演算法決策程序對某些子群體的影響,比對其他子群體更為負面或正面。

舉例來說,假設有個演算法可判斷 Lilliputian 是否符合申請微型住宅貸款的資格,如果對方的郵寄地址包含特定郵遞區號,演算法就比較有可能將他們歸類為「不符合資格」。如果大端序的利普塔尼亞人比小端序的利普塔尼亞人更有可能擁有使用這個郵遞區號的郵寄地址,那麼這個演算法就可能造成不公平的影響。

差別待遇相反,後者著重於當子群組特徵是演算法決策程序的明確輸入值時,所導致的差異。

差別待遇

#fairness

將受試者的敏感屬性納入演算法決策程序,以便對不同族群採取不同的處理方式。

舉例來說,假設有個演算法會根據貸款申請者在申請表中提供的資料,判斷他們是否符合申請小型住宅貸款的資格。如果演算法使用 Lilliputian 的隸屬關係做為大端序或小端序的輸入內容,就會根據該維度採取不同的處理方式。

差異影響不同,後者著重於演算法決策對子群體的社會影響差異,無論這些子群體是否為模型的輸入內容。

E

機會均等

#fairness

公平性指標,用於評估模型是否能針對敏感屬性的所有值,同樣準確地預測理想結果。換句話說,如果模型的理想結果是正類,目標就是讓所有群組的真陽性率相同。

機會均等與均等機率相關,這項要求是真陽性率和偽陽性率都必須在所有群組中一致。

假設 Glubbdubdrib 大學同時招收來自小人國和巨人國的學生,讓他們就讀嚴謹的數學課程。小人國的中學提供完善的數學課程,絕大多數學生都能就讀大學。布羅迪龐人高中完全沒有開設數學課程,因此學生的合格率遠低於其他國家。若符合資格的學生,無論是小人國人或布羅卜丁人,都同樣有機會獲得錄取,則在國籍 (小人國人或布羅卜丁人) 方面,就會符合機會均等原則,而「錄取」這個偏好標籤也符合機會均等原則。

舉例來說,假設 100 位小人和 100 位巨人申請入學 Glubbdubdrib 大學,而招生決定如下:

表 1. Lilliputian 申請者 (90% 符合資格)

  晉級 不合格
已錄取 45 3
已遭拒 45 7
總計 90 10
錄取資格學生百分比:45/90 = 50%
遭拒的資格不符學生百分比:7/10 = 70%
錄取的利立浦丹學生總百分比:(45+3)/100 = 48%

 

表 2. Brobdingnagian 申請者 (10% 符合資格):

  晉級 不合格
已錄取 5 9
已遭拒 5 81
總計 10 90
錄取資格學生百分比:5/10 = 50%
遭拒絕的非資格學生百分比:81/90 = 90%
錄取的 Brobdingnagian 學生總百分比:(5+9)/100 = 14%

上述範例符合錄取資格學生的機會均等原則,因為符合資格的利立浦坦人和布魯托尼安人都有 50% 的錄取機率。

雖然機會均等已滿足,但下列兩項公平性指標未滿足:

  • 群體均等:小人和巨人錄取大學的機率不同;錄取小人的學生有 48%,錄取巨人的學生只有 14%。
  • 機會均等:雖然符合資格的利立浦丹和布魯托尼亞學生都有相同的錄取機率,但未符合「不符合資格的利立浦丹和布魯托尼亞學生都有相同的拒絕機率」這項額外限制。不合格的 Lilliputians 拒絕率為 70%,而 Brobdingnagians 為 90%。

詳情請參閱機器學習速成課程中的「公平性:機會均等」一文。

均等賠率

#fairness

公平性指標,用於評估模型是否能針對敏感屬性的所有值,針對正類別負類別預測出同樣準確的結果,而非只針對其中一個類別。換句話說,所有群組的真陽性率偽陰性率都應相同。

均等機率與機會均等相關,後者只著重於單一類別 (正面或負面) 的錯誤率。

舉例來說,假設 Glubbdubdrib 大學同時招收了小人和巨人,讓他們參加嚴格的數學課程。小人國的高中提供完善的數學課程,絕大多數學生都能順利進入大學。布羅迪尼亞的高中完全沒有開設數學課程,因此學生的數學能力遠低於標準。只要符合下列條件,就符合「機會均等」原則:無論申請人身高是 Lilliputian 還是 Brobdingnagian,只要符合資格,就同樣有機會獲得錄取,如果不符合資格,就同樣有機會遭到拒絕。

假設 100 位小人和 100 位巨人申請入學 Glubbdubdrib 大學,而招生決定如下:

表 3. Lilliputian 申請者 (90% 符合資格)

  晉級 不合格
已錄取 45 2
已遭拒 45 8
總計 90 10
錄取資格學生百分比:45/90 = 50%
遭拒的資格不符學生百分比:8/10 = 80%
錄取的利立浦丹學生總百分比:(45+2)/100 = 47%

 

表 4. Brobdingnagian 申請者 (10% 符合資格):

  晉級 不合格
已錄取 5 18
已遭拒 5 72
總計 10 90
錄取資格學生的百分比:5/10 = 50%
遭拒的資格不符學生百分比:72/90 = 80%
錄取的 Brobdingnagian 學生總百分比:(5+18)/100 = 23%

符合「均等機會」原則,因為合格的 Lilliputian 和 Brobdingnagian 學生都有 50% 的錄取機率,而不合格的 Lilliputian 和 Brobdingnagian 學生則有 80% 的機率遭到拒絕。

在「監督式學習中的機會均等性」中,我們正式定義了「均等機率」一詞,如下所示:「如果 Ŷ 和 A 在 Y 的條件下為獨立,則預測器 Ŷ 就會滿足保護屬性 A 和結果 Y 的均等機率。」

實驗者偏誤

#fairness

請參閱「確認偏誤」。

F

公平性限制

#fairness
對演算法套用限制,確保符合一或多個公平性定義。公平限制的範例包括:

公平性指標

#fairness

可衡量的「公平性」數學定義。常用的公平性指標包括:

許多公平性指標互相衝突,請參閱公平性指標互相衝突

G

團體歸因偏誤

#fairness

假設對某個人而言是正確的,對該群組中的每個人也同樣正確。如果您使用便利性取樣來收集資料,群組歸因偏誤的影響可能會更加嚴重。在非代表性樣本中,歸因可能不符合實際情況。

另請參閱外團體同質性偏誤內團體偏誤。如需更多資訊,請參閱機器學習速成課程中的「公平性:偏見類型」。

H

歷史偏誤

#fairness

一種偏見,已存在於現實世界,並已納入資料集。這些偏誤往往反映現有的文化刻板印象、客層不平等,以及對特定社會群體的偏見。

舉例來說,假設有個分類模型,用來預測貸款申請人是否會違約,而該模型是根據 1980 年代兩個不同社區當地銀行的歷史貸款違約資料進行訓練。如果過去來自社群 A 的申請人,比來自社群 B 的申請人,更有可能出現貸款違約情形,那麼模型可能會學習到歷史偏差,導致模型不太可能核准社群 A 的貸款,即使造成該社群違約率較高的原因已不再適用,也一樣。

詳情請參閱機器學習速成課程中的「公平性:偏見類型」一文。

I

隱性偏誤

#fairness

根據自己的心智模型和記憶,自動建立關聯或做出假設。隱性偏見可能會影響下列項目:

  • 資料的收集和分類方式。
  • 如何設計及開發機器學習系統。

舉例來說,在建構用於辨識婚禮相片的分類器時,工程師可能會將相片中是否有白色洋裝做為特徵。不過,白色洋裝只有在特定時代和文化中才是常見的服裝。

另請參閱確認偏誤

公平性指標互相衝突

#fairness

某些公平性概念互相衝突,無法同時滿足。因此,沒有單一通用的指標可用於量化公平性,並套用至所有機器學習問題。

雖然這可能令人灰心,但公平性指標不相容,並不代表公平性努力沒有成效。相反地,這項研究建議,我們必須根據特定機器學習問題的發生情境來定義公平性,以免造成特定用途的傷害。

如要進一步瞭解這個主題,請參閱「On the (im)possibility of fairness」

個人公平性

#fairness

公平性指標,用於檢查類似的個人是否獲得類似的分類結果。舉例來說,Brobdingnagian Academy 可能會希望確保兩位成績和標準化考試分數相同的學生,都有同等機會入學,以符合個人公平性。

請注意,個別公平性完全取決於您如何定義「相似性」(在本例中為成績和考試成績),如果相似性指標遺漏重要資訊 (例如學生課程的嚴謹程度),就可能導致新的公平性問題。

如要進一步瞭解個別公平性,請參閱「公平性與意識」一文。

內團體偏誤

#fairness

偏袒自己的群體或特徵。如果測試人員或評分人員是機器學習開發人員的朋友、家人或同事,內部偏誤可能會導致產品測試或資料集無效。

內團體偏誤是一種團體歸因偏誤。另請參閱外團體同質性偏誤

詳情請參閱機器學習速成課程中的「公平性:偏見類型」一文。

無回應偏誤

#fairness

請參閱選擇偏誤

O

外團體同質性偏誤

#fairness

在比較態度、價值觀、個性特徵和其他特徵時,傾向將外團體成員視為比同團體成員更相似。「內群」是指經常與您互動的使用者;「外群」是指不常與您互動的使用者。如果您要求參與者提供外群屬性,建立資料集時,這些屬性可能會比參與者列出的內群屬性,更缺乏細微差異,也更容易受到刻板印象影響。

舉例來說,小人可能會詳細描述其他小人的房子,並指出建築風格、窗戶、門和大小的細微差異。不過,同樣的小人也許會宣稱布羅卜丁人全都住在相同的房子裡。

外團體同質性偏誤是一種團體歸因偏誤

另請參閱內團體偏誤

P

參與偏誤

#fairness

與無反應偏誤同義。請參閱選擇偏誤

後置處理

#fairness
#fundamentals

在模型運行「後」調整模型輸出內容。您可以使用後置處理功能強制執行公平性限制,而無須修改模型本身。

舉例來說,您可以為二元分類器套用後置處理,方法是設定分類閾值,以便針對某些屬性維持機會均等,方法是檢查該屬性的所有值的真實正確率是否相同。

預測對等

#fairness

公平性指標:檢查特定分類器的精確度率,是否在考量的子群體中一致。

舉例來說,如果預測大學錄取率的模型精確度率對利利浦坦人和布魯托尼安人相同,就符合預測國籍的一致性。

預測比率平價有時也稱為「預測比率平價」

如需進一步瞭解預測相等性,請參閱「公平性定義說明」(第 3.2.1 節)。

預測費率平價

#fairness

預測相符性的另一個名稱。

預先處理

#fairness
在使用資料訓練模型前先行處理。預先處理作業可能很簡單,例如從英文文字庫中移除不在英文字典中出現的字詞,也可能很複雜,例如以重新表示資料點的方式,盡可能移除與敏感屬性相關聯的屬性。預先處理可協助滿足公平性限制

代理程式 (敏感屬性)

#fairness
用於取代敏感屬性的屬性。舉例來說,個人郵遞區號可能會用來代表其收入、種族或族裔。

R

回報偏誤

#fairness

事實上,使用者撰寫動作、結果或屬性的頻率,並不能反映實際頻率,也無法反映屬性與某類個人特徵的關聯程度。報表偏差可能會影響機器學習系統學習的資料組成。

舉例來說,在書籍中,「笑」一詞比「呼吸」更常見。機器學習模型會根據書籍叢集中的笑聲和呼吸聲,估算笑聲和呼吸聲的相對頻率,並判斷笑聲比呼吸聲更常見。

S

取樣偏誤

#fairness

請參閱選擇偏誤

選擇偏誤

#fairness

從樣本資料得出的結論有誤,是因為選取程序會在資料中觀察到的樣本和未觀察到的樣本之間產生系統性差異。以下是選擇偏誤的形式:

  • 涵蓋偏誤:資料集中代表的族群,與機器學習模型預測的族群不符。
  • 取樣偏誤:未從目標群組隨機收集資料。
  • 未回應偏差 (也稱為參與偏差):某些群組的使用者選擇不參與問卷調查的比例,與其他群組的使用者不同。

舉例來說,假設您要建立用於預測觀眾對電影喜好程度的機器學習模型,為了收集訓練資料,您向電影院前排的所有觀眾發放問卷。這聽起來或許是收集資料集的合理方式,但這類資料收集方式可能會導致下列形式的選樣偏誤:

  • 涵蓋偏差:如果您從選擇觀看電影的人口中抽樣,模型的預測結果可能無法推廣至未表達出對該電影有興趣的使用者。
  • 抽樣偏誤:您並未從預期母體 (所有觀影者) 中隨機抽樣,而是只抽樣前排觀眾。坐在前排的觀眾可能比其他排的觀眾更感興趣。
  • 未回應偏差:一般來說,有強烈意見的使用者比起有溫和意見的使用者,傾向於更頻繁地回覆選填問卷。由於電影問卷調查屬於選填項目,因此回覆內容更有可能形成雙峰分布,而非正常 (鐘形) 分布。

敏感屬性

#fairness
指可能因法律、道德、社會或個人因素而受到特別考量的使用者屬性。

U

不瞭解 (敏感屬性)

#fairness

敏感屬性存在,但未納入訓練資料的情況。由於敏感屬性通常與使用者資料的其他屬性相關,因此在訓練模型時若未察覺敏感屬性,仍可能會對該屬性產生不公平影響,或違反其他公平性限制