公平性に関するモデルの予測を評価する方法の一つに、 マジョリティ グループとマイノリティ グループの入学率を比較します。 2 つの入学率が等しい場合、モデルの予測は ユーザー属性の同等性: 大学に入学できる確率は、 クリックします
入院モデルが過半数から 16 人の候補者を受け入れるとします グループとマイノリティのグループから 4 名の候補者が 選出されましたモデルの決定 人口の同程度を満足させることができるので、大多数と マイノリティの候補者は 20%です
次の表は、不承認の理由と承認された根拠を裏付ける数値を示したものです。 図 2 に示します。
マジョリティ グループ | マイノリティ グループ | |
---|---|---|
利用できる支払い方法 | 16 | 4 |
拒否 | 64 | 16 |
承認率 | 20% | 20% |
演習:直感をチェック
大学の入学委員会は、人口統計の同等性を使用することを検討している 公平性の評価指標として使用されており、独自のガイダンスが必要です。 メリットとデメリットを比較しました。次のうち 1 つを特定してください ユーザー属性を使用してモデルの予測を評価する場合の長所と短所の 1 つ 同等か?
次の利点とメリット デメリットでは、 ユーザー層の平等性
メリットとデメリット
この入学サンプルにおける、人口統計の同等性の主な利点は、 大多数のグループとマイノリティのグループがどちらも許可されるトピックに 同じ割合のクラスの生徒に属することができます。 つまり、応募者プールの 80% が過半数の候補者で構成される場合です。 20% のマイノリティ グループの候補者の場合、人口統計の平等性により、 また、入学者の 80% が過半数の学生、20% が少数派グループになる あります。
ただし、ユーザー層の同等性には大きな欠点が 1 つあります。それは、 各ユーザー属性グループに対する予測の分布( 「認定資格」として分類された学生の数「不適格」など)を洗い出し、 20 個のアドミッション スロットの割り当て方法を評価します。
候補プールの構成を上からもう一度見てみましょう。 ただし今回は、ユーザー属性グループだけでなく モデルが各候補を「有望」とスコア付けたかどうかでも確認できます。または "unqualified":
次の表は、不承認の理由と承認された根拠を裏付ける数値を示したものです。 図 3 に示します。
マジョリティ グループ | マイノリティ グループ | |||
---|---|---|---|---|
承認済み | 不承認 | 承認済み | 不承認 | |
認定済み | 16 | 19 | 4 | 11 |
不適格 | 0 | 45 | 0 | 5 |
両方のグループの適格な生徒の合格率を表にしてみましょう。
両方のグループの全体的な受け入れ率は 20% ですが、 人口学的同等性があり、大部分の学生の合格率は 46%、 一方、少数派の適格な学生の合格率はわずか 27% です。
このようなケースでは 好ましいラベルの分布が (「有望な見込み顧客」など)は両方のグループで大きく異なるため、ユーザー属性の同等性は 公平性を評価するのに最適な指標ではありません。次の 別の公平性指標、機会の平等、 この違いを考慮します