모델의 공정성 예측을 평가하는 데 사용할 수 있는 한 가지 방법은 대다수 그룹과 소수 집단의 입학률을 비교합니다. 두 입학률이 같으면 모델의 예측은 인구통계 동등성: 대학에 입학할 확률은 인구통계 그룹입니다.
입학 모델이 대다수에서 16개의 후보자를 허용한다고 가정해 보겠습니다. 소수 집단에서 4개의 후보를 선정합니다. 모델의 결정 인구통계학적 동등성을 충족하며, 이는 대부분의 수용자와 20% 정도 됩니다
![두 그룹으로 분할된 후보 풀: 거부된 후보 (64 파란색)
학생, 주황색 학생 16명) 및 승인된 후보자 (파란색 16개)
주황색 학생 4명).](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_demographic_parity.png?authuser=19&hl=ko)
다음 표에는 거부 및 수락된 테스트를 뒷받침하는 수치를 수치로 제시하고 있습니다. 가능성이 있습니다.
다수결 | 소수 집단 | |
---|---|---|
허용되는 결제 수단 | 16 | 4 |
거부됨 | 64 | 16 |
수락률 | 20% | 20% |
연습문제: 직관력 확인하기
대학 입학 위원회에서 인구통계 동등성 사용을 고려 중 을 모델의 공정성 평가 측정항목으로 사용하고 있으며 여러분의 지침이 필요합니다. 이 접근 방식의 장점과 단점을 살펴봤습니다 다음 중 하나를 찾아낼 수 있나요? 인구통계를 사용하여 모델의 예측을 평가하는 장점과 단점 한 가지 어떻게 해야 할까요?
계속해서 다음 섹션인 이점 및 단점: 사용 시의 주요 장단점 요약 인구통계 동등성
장단점
입학 예에서 인구통계 동등성의 주요 이점은 허용됨에 대다수와 소수 집단이 모두 표시되도록 합니다. 지원자 풀과 동일한 비율로 나눈 것입니다. 즉, 지원자 풀이 80% 의 다수 집단 후보자로 구성된 경우 20% 의 소수 집단 후보자를 선택했을 때 또한 80% 의 과반수 그룹과 20% 의 소수 집단 학생이 있습니다.
그러나 인구통계 동등성에는 한 가지 큰 단점이 있습니다. 각 인구통계 그룹에 대한 예측 분포 (총 예측 수 '자격이 있는' 것으로 분류된 학생 수 '부적격')과 비교했을 때 20개의 입학 슬롯 할당 방법을 평가합니다.
위에서부터 후보 풀의 구성을 다시 살펴보겠습니다. 하지만 이번에는 후보자를 인구통계 그룹뿐 아니라 또한 모델이 각 후보를 '자격 충족'으로 채점했는지 여부도 결정합니다. 또는 "unqualified":
!['거부됨' 및 '수락됨' 후보의 분류는
이번에는 실제로 학습한 50명의 학생이
적격 (파란색 학생 35명, 주황색 학생 15명)은 녹색으로 음영 처리됩니다.
합격 자격을 갖춘 일부 학생 (파란색 학생 19명,
주황색 학생 11명)은 X로 표시됩니다.](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_demographic_parity_by_qualifications.png?authuser=19&hl=ko)
다음 표에는 거부 및 수락된 테스트를 뒷받침하는 수치를 수치로 제시하고 있습니다. 가능성이 있습니다.
다수결 | 소수 집단 | |||
---|---|---|---|---|
수락됨 | 거부됨 | 수락됨 | 거부됨 | |
자격 있음 | 16 | 19 | 4 | 11 |
Unqualified(자격 없음) | 0 | 45 | 0 | 5 |
두 그룹의 자격 요건을 충족하는 학생의 수락률을 표로 만들어 보겠습니다.
두 그룹 모두 전체 수용률이 20%이지만 적격 과반수 학생의 합격률은 46%입니다. 자격을 갖춘 소수 민족 학생의 합격률은 불과 27%에 불과합니다.
이와 같은 경우 선호하는 라벨의 분포가 두 그룹 모두에 따라 상당한 차이가 있으므로 인구통계 동등성이 공정성을 평가하기에 가장 적합한 측정항목이 아닐 수도 있습니다 다음 섹션에서는 대안 공정성 측정항목인 기회의 균등, 이러한 차이를 고려합니다.