公平性: ユーザー属性の同等性

公平性に関するモデルの予測を評価する方法の一つに、 マジョリティ グループとマイノリティ グループの入学率を比較します。 2 つの入学率が等しい場合、モデルの予測は ユーザー属性の同等性: 大学に入学できる確率は、 クリックします

入院モデルが過半数から 16 人の候補者を受け入れるとします グループとマイノリティのグループから 4 名の候補者が 選出されましたモデルの決定 人口の同程度を満足させることができるので、大多数と マイノリティの候補者は 20%です

図 2. 受験者プールを 2 つのグループ（不承認候補）に分割 提示されます多数派（青）と少数派（オレンジ）の両方 受け入れ率が 20%でした

次の表は、不承認の理由と承認された根拠を裏付ける数値を示したものです。 図 2 に示します。

	マジョリティ グループ	マイノリティ グループ
利用できる支払い方法	16	4
拒否	64	16
承認率	20%	20%

演習：直感をチェック

大学の入学委員会は、人口統計の同等性を使用することを検討している 公平性の評価指標として使用されており、独自のガイダンスが必要です。 メリットとデメリットを比較しました。次のうち 1 つを特定してください ユーザー属性を使用してモデルの予測を評価する場合の長所と短所の 1 つ 同等か？

特徴データに問題はありませんか？

こちらをクリックして回答をご覧ください

メリットとデメリット

この入学サンプルにおける、人口統計の同等性の主な利点は、 大多数のグループとマイノリティのグループがどちらも許可されるトピックに 同じ割合のクラスの生徒に属することができます。 つまり、応募者プールの 80% が過半数の候補者で構成される場合です。 20% のマイノリティ グループの候補者の場合、人口統計の平等性により、 また、入学者の 80% が過半数の学生、20% が少数派グループになる あります。

ただし、ユーザー層の同等性には大きな欠点が 1 つあります。それは、 各ユーザー属性グループに対する予測の分布（ 「認定資格」として分類された学生の数「不適格」など）を洗い出し、 20 個のアドミッション スロットの割り当て方法を評価します。

候補プールの構成を上からもう一度見てみましょう。 ただし今回は、ユーザー属性グループだけでなく モデルが各候補を「有望」とスコア付けたかどうかでも確認できます。または "unqualified":

図 3. [不承認] と [承認済み] の候補の内訳は、 と変わりましたが、今回は、大部分の受講者全員が 少数派グループは緑色の色合いで表示されます。 拒否された場合は X が表示されます。35 の過半数のグループのうち、 16 人が採用されました。少数派の少数派の学生 15 名のうち、 4 件承認されました。

次の表は、不承認の理由と承認された根拠を裏付ける数値を示したものです。 図 3 に示します。

	マジョリティ グループ		マイノリティ グループ
	承認済み	不承認	承認済み	不承認
認定済み	16	19	4	11
不適格	0	45	0	5

両方のグループの適格な生徒の合格率を表にしてみましょう。

$$\text{Majority acceptance rate} = \frac{\text{qualified majority students accepted}}{\text{total qualified majority students}} = \frac{16}{35} = \text{46%}$$

$$\text{Minority acceptance rate} = \frac{\text{qualified minority students accepted}}{\text{total qualified minority students}} = \frac{4}{15} = \text{27%}$$

両方のグループの全体的な受け入れ率は 20% ですが、 人口学的同等性があり、大部分の学生の合格率は 46%、 一方、少数派の適格な学生の合格率はわずか 27% です。

このようなケースでは 好ましいラベルの分布が （「有望な見込み顧客」など）は両方のグループで大きく異なるため、ユーザー属性の同等性は 公平性を評価するのに最適な指標ではありません。次の 別の公平性指標、機会の平等、 この違いを考慮します

注: 年齢や性別の同等性には、さらなる利点や欠点があるかもしれません。 両方の目標に応じて検討する価値があり、 モデルが達成することを目的とし、モデルが達成しようとしている社会的コンテキスト 使用されます。

主な用語:

• バイアス（倫理/公平性）
• ユーザー属性の同等性