GAN có một số chế độ lỗi thường gặp. Tất cả các vấn đề thường gặp này đều là những khía cạnh đang được nghiên cứu tích cực. Mặc dù chưa có giải pháp hoàn chỉnh cho những vấn đề này, nhưng chúng tôi sẽ đề cập đến một số cách mà mọi người đã thử.
Chuyển màu biến mất
Nghiên cứu cho thấy rằng nếu giá trị phân biệt của bạn quá tốt, thì quá trình huấn luyện trình tạo có thể không thành công do độ dốc biến mất. Do đó, một bộ phân biệt tối ưu không cung cấp đủ thông tin để trình tạo tiến hành.
Các biện pháp khắc phục
- Hệ số tổn thất Wasserstein: Hệ số tổn thất Wasserstein được thiết kế để ngăn chặn việc biến mất của độ dốc ngay cả khi bạn huấn luyện bộ phân biệt đến mức tối ưu.
- Tổn thất minimax đã sửa đổi: Bài viết gốc về GAN đề xuất sửa đổi tổn thất minimax để xử lý các độ dốc biến mất.
Thu gọn chế độ
Thông thường, bạn muốn GAN tạo ra nhiều kết quả. Ví dụ: bạn muốn có một khuôn mặt khác nhau cho mỗi dữ liệu đầu vào ngẫu nhiên vào trình tạo khuôn mặt.
Tuy nhiên, nếu một trình tạo tạo ra một kết quả đặc biệt hợp lý, thì trình tạo đó có thể học cách chỉ tạo ra kết quả đó. Trên thực tế, trình tạo luôn cố gắng tìm ra một đầu ra có vẻ hợp lý nhất đối với hàm phân biệt.
Nếu trình tạo bắt đầu tạo ra cùng một đầu ra (hoặc một nhóm nhỏ đầu ra) lặp đi lặp lại, thì chiến lược tốt nhất của bộ phân biệt là học cách luôn từ chối đầu ra đó. Tuy nhiên, nếu hệ thống phân biệt thế hệ tiếp theo bị mắc kẹt ở mức tối thiểu cục bộ và không tìm thấy chiến lược tốt nhất, thì quá trình lặp lại của trình tạo tiếp theo sẽ dễ dàng tìm thấy kết quả hợp lý nhất cho hệ thống phân biệt hiện tại.
Mỗi lần lặp lại của trình tạo đều tối ưu hoá quá mức cho một giá trị phân biệt cụ thể và giá trị phân biệt đó không bao giờ tìm được cách thoát khỏi cái bẫy. Do đó, các trình tạo sẽ xoay vòng qua một nhóm nhỏ các loại đầu ra. Loại lỗi GAN này được gọi là sự cố sụp đổ chế độ.
Các biện pháp khắc phục
Các phương pháp sau đây cố gắng buộc trình tạo mở rộng phạm vi bằng cách ngăn trình tạo tối ưu hoá cho một giá trị phân biệt cố định:
- Hệ số tổn thất Wasserstein: Hệ số tổn thất Wasserstein giúp giảm thiểu sự cố sụp đổ chế độ bằng cách cho phép bạn huấn luyện bộ phân biệt đến mức tối ưu mà không lo lắng về việc các độ dốc biến mất. Nếu không bị mắc kẹt ở giá trị cực tiểu cục bộ, hàm phân biệt sẽ học cách từ chối các đầu ra mà trình tạo ổn định. Vì vậy, trình tạo phải thử một cách mới.
- GAN không cuộn: GAN không cuộn sử dụng hàm tổn thất của trình tạo không chỉ kết hợp các phân loại của bộ phân biệt hiện tại mà còn kết hợp cả kết quả của các phiên bản bộ phân biệt trong tương lai. Vì vậy, trình tạo không thể tối ưu hoá quá mức cho một giá trị phân biệt.
Không hội tụ
GAN thường không hội tụ, như đã thảo luận trong mô-đun về huấn luyện.
Các biện pháp khắc phục
Các nhà nghiên cứu đã cố gắng sử dụng nhiều hình thức chuẩn hoá để cải thiện khả năng hội tụ của GAN, bao gồm:
- Thêm nhiễu vào dữ liệu đầu vào của bộ phân biệt: Ví dụ: xem bài viết Hướng tới các phương pháp nguyên tắc để huấn luyện mạng đối kháng tạo sinh.
- Phạt trọng số của bộ phân biệt: Ví dụ: xem phần Ổn định quá trình huấn luyện mạng đối kháng tạo sinh thông qua việc điều chỉnh.