公平性: バイアスの評価

モデルの評価時に、テストまたは検証全体に対して計算される指標 モデルの公平性を正確に把握できるとは限りません。 大部分の例で全体的に優れたモデル性能を発揮すると、低い サンプルのサブセットでパフォーマンスが損なわれるため、バイアスが 学習します。パフォーマンス指標の集計値( 適合率再現率accuracy が必ずしも これらの問題を明らかにします

入学モデルを再確認し、新しい手法をいくつか試すことができます。 をご覧ください。

入学分類モデルにより、20 名の学生が入学を承諾すると 2 つの属性グループに属する、100 人の候補者プールから 多数派のグループ(青、生徒 80 人)とマイノリティ グループ (オレンジ、生徒数 20 人)。

100 人のアイコンのグリッド。80 個のアイコンの色合いは青、
         多数を表したものです20 個のアイコンの色合いはオレンジ色、
         表しています
図 1. 生徒 100 人の候補プール: 80 人が所属 多数派グループ(青)で、20 人の生徒が少数派グループに所属している (オレンジ)。

モデルは、認定資格を持つ学生を、 両方のユーザー属性グループに属します。

モデルの公平性に関する予測をどのように評価すればよいでしょうか。さまざまな それぞれ異なった数学的表現になります 「公平性」の定義です。以降のセクションでは 具体的には、人口統計の同等性、機会の平等、 対事実的公平性です。