Sau khi xác định được nguồn thiên vị trong dữ liệu huấn luyện, chúng ta có thể chủ động thực hiện các bước để giảm thiểu tác động của nguồn đó. Các kỹ sư học máy (ML) thường sử dụng hai chiến lược chính để khắc phục thiên kiến:
- Tăng cường dữ liệu huấn luyện.
- Điều chỉnh hàm mất mát của mô hình.
Bổ sung dữ liệu huấn luyện
Nếu quy trình kiểm tra dữ liệu huấn luyện phát hiện thấy các vấn đề về dữ liệu bị thiếu, không chính xác hoặc bị lệch, thì cách đơn giản nhất để giải quyết vấn đề thường là thu thập thêm dữ liệu.
Tuy nhiên, mặc dù việc tăng cường dữ liệu huấn luyện có thể là lý tưởng, nhưng nhược điểm của phương pháp này là cũng có thể không khả thi, do thiếu dữ liệu có sẵn hoặc các hạn chế về tài nguyên cản trở việc thu thập dữ liệu. Ví dụ: việc thu thập thêm dữ liệu có thể quá tốn kém hoặc tốn thời gian hoặc không khả thi do các quy định hạn chế về pháp lý/quyền riêng tư.
Điều chỉnh hàm tối ưu hoá của mô hình
Trong trường hợp không thể thu thập thêm dữ liệu huấn luyện, một phương pháp khác để giảm thiểu thiên vị là điều chỉnh cách tính toán tổn thất trong quá trình huấn luyện mô hình. Chúng tôi thường sử dụng một hàm tối ưu hoá như mất mát logarit để phạt các dự đoán không chính xác của mô hình. Tuy nhiên, việc mất nhật ký không khiến tư cách thành viên trong nhóm con được xem xét. Vì vậy, thay vì sử dụng hàm tổn thất nhật ký, chúng ta có thể chọn một hàm tối ưu hoá được thiết kế để phạt các lỗi theo cách nhận biết được sự công bằng, giúp chống lại sự mất cân bằng mà chúng ta đã xác định được trong dữ liệu huấn luyện.
Thư viện khắc phục mô hình TensorFlow cung cấp các tiện ích để áp dụng hai kỹ thuật giảm thiểu thiên vị khác nhau trong quá trình huấn luyện mô hình:
MinDiff: MinDiff nhằm cân bằng các lỗi cho hai lát cắt dữ liệu khác nhau (học viên nam/nữ so với học viên không thuộc hai giới) bằng cách thêm một hình phạt cho sự khác biệt trong phân phối dự đoán cho hai nhóm.
Ghép nối Logit phản chứng: Phương pháp Ghép nối Logit phản chứng (CLP) nhằm đảm bảo rằng việc thay đổi một thuộc tính nhạy cảm của một ví dụ nhất định sẽ không làm thay đổi kết quả dự đoán của mô hình cho ví dụ đó. Ví dụ: nếu một tập dữ liệu huấn luyện chứa hai ví dụ có giá trị đặc điểm giống hệt nhau, ngoại trừ một ví dụ có giá trị
genderlàmalevà ví dụ còn lại có giá trịgenderlànonbinary, thì CLP sẽ thêm một hình phạt nếu dự đoán cho hai ví dụ này khác nhau.
Các kỹ thuật mà bạn chọn để điều chỉnh hàm tối ưu hoá phụ thuộc vào các trường hợp sử dụng của mô hình. Trong phần tiếp theo, chúng ta sẽ xem xét kỹ hơn cách tiếp cận nhiệm vụ đánh giá tính công bằng của một mô hình bằng cách xem xét các trường hợp sử dụng này.