공정성: 편향 완화

학습 데이터에서 편향의 원인을 파악한 후에는 사전에 조치를 취하여 그 영향을 완화할 수 있습니다. 편향을 완화하기 위해 머신러닝 (ML) 엔지니어가 일반적으로 사용하는 두 가지 주요 전략은 다음과 같습니다

• 학습 데이터 증강
• 모델의 손실 함수를 조정합니다.

학습 데이터 증강

학습 데이터 감사에서 누락되거나 잘못되었거나 왜곡된 데이터 문제가 발견된 경우 문제를 해결하는 가장 직접적인 방법은 추가 데이터를 수집하는 것입니다.

하지만 학습 데이터를 보강하는 것이 이상적일 수 있지만, 사용 가능한 데이터가 부족하거나 데이터 수집을 방해하는 리소스 제약으로 인해 불가능할 수도 있다는 단점이 있습니다. 예를 들어 더 많은 데이터를 수집하는 데 너무 많은 비용이나 시간이 들거나 법적/개인 정보 보호 제한으로 인해 실행할 수 없는 경우도 있습니다.

모델의 최적화 함수 조정

추가 학습 데이터를 수집할 수 없는 경우 편향을 완화하는 또 다른 방법은 모델 학습 중에 손실이 계산되는 방식을 조정하는 것입니다. 일반적으로 잘못된 모델 예측에 페널티를 주기 위해 로그 손실과 같은 최적화 함수를 사용합니다. 하지만 로그 손실은 하위 그룹 멤버십을 고려하지 않습니다. 따라서 로그 손실을 사용하는 대신 학습 데이터에서 확인한 불균형을 상쇄하는 공정성을 고려한 방식으로 오류를 불이익을 주도록 설계된 최적화 함수를 선택할 수 있습니다.

TensorFlow 모델 수정 라이브러리는 모델 학습 중에 두 가지 편향 완화 기법을 적용하기 위한 유틸리티를 제공합니다.

• MinDiff: MinDiff는 두 그룹의 예측 분포 차이에 대한 페널티를 추가하여 두 가지 데이터 슬라이스(남성/여성 학생과 비이성애 학생)의 오류 균형을 맞추는 것을 목표로 합니다.

• 반사실적 로지트 페어링: 반사실적 로지트 페어링 (CLP)은 특정 예시의 민감한 속성을 변경해도 해당 예시의 모델 예측이 변경되지 않도록 하는 것을 목표로 합니다. 예를 들어 학습 데이터 세트에 특성 값이 동일한 2개의 예가 있지만, 한 개의 gender 값이 male이고 다른 한 개의 gender 값이 nonbinary인 경우, 이 두 예의 예측이 서로 다르면 CLP에서 페널티를 추가합니다.

최적화 함수를 조정하는 데 선택하는 기법은 모델의 사용 사례에 따라 다릅니다. 다음 섹션에서는 이러한 사용 사례를 고려하여 모델의 공정성을 평가하는 작업에 접근하는 방법을 자세히 살펴봅니다.

연습문제: 학습 내용 점검하기

편향 완화 기법에 관한 다음 설명 중 참인 것은 무엇인가요?

MinDiff와 CLP는 모두 민감한 속성과 연결된 모델 실적의 불일치를 처벌합니다.

두 기술 모두 민감한 속성이 학습 데이터에 표현되는 방식의 불균형으로 인한 예측 오류에 불이익을 주어 편향을 완화하는 것을 목표로 합니다.

MinDiff는 데이터의 여러 슬라이스에 대한 예측의 전체 분포 차이에 페널티를 적용하는 반면, CLP는 개별 예시 쌍의 예측 불일치에 페널티를 적용합니다.

MinDiff는 두 하위 그룹의 점수 분포를 정렬하여 편향을 해결합니다. CLP는 하위 그룹 구성원 자격으로 개별 예가 다르게 취급되지 않도록 하여 편향을 해결합니다.

학습 데이터 세트에 예시를 더 추가하면 항상 모델 예측의 편향을 상쇄하는 데 도움이 됩니다.

학습 예시를 더 추가하는 것은 편향을 완화하는 효과적인 전략이지만 새 학습 데이터의 구성이 중요합니다. 추가 학습 예시가 원본 데이터와 비슷한 불균형을 나타낸다면 기존 편향을 완화하는 데 도움이 되지 않을 수 있습니다.

학습 데이터를 더 추가하여 편향을 완화하는 경우 학습 중에 MinDiff 또는 CLP를 적용해서는 안 됩니다.

학습 데이터를 보강하고 MinDiff 또는 CLP와 같은 기법을 적용하는 것은 상호 보완적일 수 있습니다. 예를 들어 ML 엔지니어가 성능 불일치를 30% 줄이기 위해 충분한 양의 추가 학습 데이터를 수집한 다음 MinDiff를 사용하여 불일치를 50% 더 줄일 수 있습니다.

핵심 용어:

• 편향 (윤리/공정성)
• 로그 손실