公平性: ユーザー属性の同等性

公平性に関するモデルの予測を評価する方法の一つに、 マジョリティ グループとマイノリティ グループの入学率を比較します。 2 つの入学率が等しい場合、モデルの予測は ユーザー属性の同等性: 大学に入学できる確率は、 クリックします

入院モデルが過半数から 16 人の候補者を受け入れるとします グループとマイノリティのグループから 4 名の候補者が 選出されましたモデルの決定 人口の同程度を満足させることができるので、大多数と マイノリティの候補者は 20%です

受験者プール、2 つのグループ: 不承認候補(64 青)
         16 名)と承認された受験者(16 名、青)
         4 名、オレンジの生徒など)。
図 2. 受験者プールを 2 つのグループ(不承認候補)に分割 提示されます多数派(青)と少数派(オレンジ)の両方 受け入れ率が 20%でした

次の表は、不承認の理由と承認された根拠を裏付ける数値を示したものです。 図 2 に示します。

マジョリティ グループ マイノリティ グループ
利用できる支払い方法 16 4
拒否 64 16
承認率 20% 20%

演習:直感をチェック

大学の入学委員会は、人口統計の同等性を使用することを検討している 公平性の評価指標として使用されており、独自のガイダンスが必要です。 メリットとデメリットを比較しました。次のうち 1 つを特定してください ユーザー属性を使用してモデルの予測を評価する場合の長所短所の 1 つ 同等か?

特徴データに問題はありませんか?
こちらをクリックして回答をご覧ください

メリットとデメリット

この入学サンプルにおける、人口統計の同等性の主な利点は、 大多数のグループとマイノリティのグループがどちらも許可されるトピックに 同じ割合のクラスの生徒に属することができます。 つまり、応募者プールの 80% が過半数の候補者で構成される場合です。 20% のマイノリティ グループの候補者の場合、人口統計の平等性により、 また、入学者の 80% が過半数の学生、20% が少数派グループになる あります。

ただし、ユーザー層の同等性には大きな欠点が 1 つあります。それは、 各ユーザー属性グループに対する予測の分布( 「認定資格」として分類された学生の数「不適格」など)を洗い出し、 20 個のアドミッション スロットの割り当て方法を評価します。

候補プールの構成を上からもう一度見てみましょう。 ただし今回は、ユーザー属性グループだけでなく モデルが各候補を「有望」とスコア付けたかどうかでも確認できます。または "unqualified":

却下された受験者と承認された受験者の詳細な内訳は、
      ですが今回は 50 人の生徒が
      有資格者(青 35 名、オレンジ 15 名)は緑色で、
      と、却下された有資格の生徒(19 名の青の生徒、
      (オレンジ色の生徒 11 名)には X が表示されます。
図 3. [不承認] と [承認済み] の候補の内訳は、 と変わりましたが、今回は、大部分の受講者全員が 少数派グループは緑色の色合いで表示されます。 拒否された場合は X が表示されます。35 の過半数のグループのうち、 16 人が採用されました。少数派の少数派の学生 15 名のうち、 4 件承認されました。

次の表は、不承認の理由と承認された根拠を裏付ける数値を示したものです。 図 3 に示します。

マジョリティ グループ マイノリティ グループ
承認済み 不承認 承認済み 不承認
認定済み 16 19 4 11
不適格 0 45 0 5

両方のグループの適格な生徒の合格率を表にしてみましょう。

$$\text{Majority acceptance rate} = \frac{\text{qualified majority students accepted}}{\text{total qualified majority students}} = \frac{16}{35} = \text{46%}$$
$$\text{Minority acceptance rate} = \frac{\text{qualified minority students accepted}}{\text{total qualified minority students}} = \frac{4}{15} = \text{27%}$$

両方のグループの全体的な受け入れ率は 20% ですが、 人口学的同等性があり、大部分の学生の合格率は 46%、 一方、少数派の適格な学生の合格率はわずか 27% です。

このようなケースでは 好ましいラベルの分布が (「有望な見込み顧客」など)は両方のグループで大きく異なるため、ユーザー属性の同等性は 公平性を評価するのに最適な指標ではありません。次の 別の公平性指標、機会の平等、 この違いを考慮します