前のセクションでは、以下を使用して入学モデルの公平性を評価しました。 2 つのユーザー層の全体的な受け入れ率を比較して、ユーザー層の同等性を確認する 属性グループ。
または、適格な見込み顧客のみの受け入れ率を比較することもできます。 100 倍の確率で生成できます受け入れ率が どちらのグループの有資格学生も等しくすれば、モデルは 機会の平等: 優先ラベル(「入学資格」)を持つ学生は、 どのユーザー属性に属していても、参加が許可される可能性 できます。
前のセクションの候補プールをもう一度見てみましょう。
マジョリティ グループ | マイノリティ グループ | |
---|---|---|
認定済み | 35 | 15 |
不適格 | 45 | 5 |
入院モデルがマジョリティ グループから 14 人の候補者を受け入れるとします マイノリティのグループから 6 名が選ばれました。モデルの決定は 適格と認められた過半数の賛同率、つまり機会の平等 マイノリティの候補者は 40%です
次の表は、不承認の理由と承認された根拠を裏付ける数値を示したものです。 図 4 に示します。
マジョリティ グループ | マイノリティ グループ | |||
---|---|---|---|---|
承認済み | 不承認 | 承認済み | 不承認 | |
認定済み | 14 | 21 | 6 | 9 |
不適格 | 0 | 45 | 0 | 5 |
メリットとデメリット
機会の平等の主なメリットは、モデルの 陽性と陰性の予測の比率がユーザー属性グループによって異なる場合、 モデルが優先ラベルの予測にも同様に成功しているという前提 (「入場資格」)というフレーズが使われています。
図 4 のモデルの予測は、人口統計の同等性を満たしていません。 17.5% の確率で承認される可能性はあるが、 マイノリティ グループの生徒が合格する確率は 30% です。ただし、 次の条件に関係なく、適格な学生は 40% の確率で承認される 選択することもできます。このケースでは、おそらく公平な結果でしょう。 特定のモデルのユースケースに対応できます
機会の平等の欠点の一つは、 明確な優先ラベルがある場合です。同じくらい重要性が 陽性のクラス(「入院資格」)と および除外クラス(「not qualified for admission」)を、すべてのユーザー属性グループに対して 指標スコープを使用して、 平等オッズという 成功率は同じです
機会の平等のもう一つのデメリットは、公平性が評価されることです。
ユーザー属性グループの集計エラー率を比較することで
必ずしも実現可能とは限りませんたとえば、入院モデルのデータセットが
demographic_group
の特徴がなかったので、次の操作は行えません。
適格な多数派とマイノリティの候補者の採用率を分けて表示する
機会の平等が満たされているかどうかを比較します
次のセクションでは、公平性に関する別の指標である反事実的条件について見ていきます。 人口統計データが利用できないシナリオで採用することも すべての例に共通です。
演習:理解度をチェックする
モデルの予測は、両方のユーザー属性を満たすことが可能 機会の平等と平等を実現しています
たとえば、バイナリ分類器(優先ラベルとして使用される)を 陽性クラス)が 100 個の例で評価され、結果が 以下に示す混同行列を ユーザー属性グループ(大多数と少数派):
マジョリティ グループ | マイノリティ グループ | |||
---|---|---|---|---|
予測陽性 | 予測された陰性 | 予測陽性 | 予測された陰性 | |
実際の改善率 | 6 | 12 | 3 | 6 |
実際のマイナス | 10 | 36 | 6 | 21 |
\(\text{Positive Rate} = \frac{6+10}{6+10+12+36} = \frac{16}{64} = \text{25%}\) \(\text{True Positive Rate} = \frac{6}{6+12} = \frac{6}{18} = \text{33%}\) |
\(\text{Positive Rate} = \frac{3+6}{3+6+6+21} = \frac{9}{36} = \text{25%}\) \(\text{True Positive Rate} = \frac{3}{3+6} = \frac{3}{9} = \text{33%}\) |
多数派グループと少数派グループの両方の予測率が正 25% の割合、ユーザー層の同等性を満たし、真陽性率が (優先ラベルが付けられたサンプルのうち、 (正しく分類されたもの)の 33% に上り、機会の平等を果たしています。