학습 데이터에서 편향의 원인을 파악한 후에는 사전에 조치를 취하여 그 영향을 완화할 수 있습니다. 편향을 완화하기 위해 머신러닝 (ML) 엔지니어가 일반적으로 사용하는 두 가지 주요 전략은 다음과 같습니다
- 학습 데이터 증강
- 모델의 손실 함수를 조정합니다.
학습 데이터 증강
학습 데이터 감사에서 누락되거나 잘못되었거나 왜곡된 데이터 문제가 발견된 경우 문제를 해결하는 가장 직접적인 방법은 추가 데이터를 수집하는 것입니다.
하지만 학습 데이터를 보강하는 것이 이상적일 수 있지만, 사용 가능한 데이터가 부족하거나 데이터 수집을 방해하는 리소스 제약으로 인해 불가능할 수도 있다는 단점이 있습니다. 예를 들어 더 많은 데이터를 수집하는 데 너무 많은 비용이나 시간이 들거나 법적/개인 정보 보호 제한으로 인해 실행할 수 없는 경우도 있습니다.
모델의 최적화 함수 조정
추가 학습 데이터를 수집할 수 없는 경우 편향을 완화하는 또 다른 방법은 모델 학습 중에 손실이 계산되는 방식을 조정하는 것입니다. 일반적으로 잘못된 모델 예측에 페널티를 주기 위해 로그 손실과 같은 최적화 함수를 사용합니다. 하지만 로그 손실은 하위 그룹 멤버십을 고려하지 않습니다. 따라서 로그 손실을 사용하는 대신 학습 데이터에서 확인한 불균형을 상쇄하는 공정성을 고려한 방식으로 오류를 불이익을 주도록 설계된 최적화 함수를 선택할 수 있습니다.
TensorFlow 모델 수정 라이브러리는 모델 학습 중에 두 가지 편향 완화 기법을 적용하기 위한 유틸리티를 제공합니다.
MinDiff: MinDiff는 두 그룹의 예측 분포 차이에 대한 페널티를 추가하여 두 가지 데이터 슬라이스(남성/여성 학생과 비이성애 학생)의 오류 균형을 맞추는 것을 목표로 합니다.
반사실적 로지트 페어링: 반사실적 로지트 페어링 (CLP)은 특정 예시의 민감한 속성을 변경해도 해당 예시의 모델 예측이 변경되지 않도록 하는 것을 목표로 합니다. 예를 들어 학습 데이터 세트에 특성 값이 동일한 2개의 예가 있지만, 한 개의
gender값이male이고 다른 한 개의gender값이nonbinary인 경우, 이 두 예의 예측이 서로 다르면 CLP에서 페널티를 추가합니다.
최적화 함수를 조정하는 데 선택하는 기법은 모델의 사용 사례에 따라 다릅니다. 다음 섹션에서는 이러한 사용 사례를 고려하여 모델의 공정성을 평가하는 작업에 접근하는 방법을 자세히 살펴봅니다.