Phần trình tạo của GAN học cách tạo dữ liệu giả bằng cách kết hợp phản hồi từ bộ phân biệt. Mô hình này học cách làm cho giá trị phân biệt phân loại đầu ra là thực.
Quá trình huấn luyện trình tạo đòi hỏi mức độ tích hợp chặt chẽ hơn giữa trình tạo và giá trị phân biệt so với quá trình huấn luyện giá trị phân biệt. Phần của GAN đào tạo trình tạo bao gồm:
- dữ liệu đầu vào ngẫu nhiên
- mạng trình tạo, biến đổi dữ liệu đầu vào ngẫu nhiên thành một thực thể dữ liệu
- mạng phân biệt, phân loại dữ liệu được tạo
- đầu ra của bộ phân biệt
- tổn thất của trình tạo, phạt trình tạo vì không đánh lừa được bộ phân biệt
Hình 1: Truyền ngược trong quá trình huấn luyện trình tạo.
Dữ liệu đầu vào ngẫu nhiên
Mạng nơron cần một số dạng dữ liệu đầu vào. Thông thường, chúng ta nhập dữ liệu mà chúng ta muốn làm gì đó, chẳng hạn như một thực thể mà chúng ta muốn phân loại hoặc dự đoán. Nhưng chúng ta sử dụng gì làm dữ liệu đầu vào cho một mạng đầu ra các thực thể dữ liệu hoàn toàn mới?
Ở dạng cơ bản nhất, GAN lấy nhiễu ngẫu nhiên làm dữ liệu đầu vào. Sau đó, trình tạo sẽ chuyển đổi nhiễu này thành một đầu ra có ý nghĩa. Bằng cách đưa vào nhiễu, chúng ta có thể khiến GAN tạo ra nhiều loại dữ liệu, lấy mẫu từ nhiều vị trí trong quá trình phân phối mục tiêu.
Các thử nghiệm cho thấy rằng việc phân phối nhiễu không quan trọng lắm, vì vậy, chúng ta có thể chọn một giá trị dễ lấy mẫu, chẳng hạn như phân phối đồng nhất. Để thuận tiện, không gian lấy mẫu nhiễu thường có kích thước nhỏ hơn kích thước của không gian đầu ra.
Sử dụng bộ phân biệt để huấn luyện trình tạo
Để huấn luyện mạng nơron, chúng ta thay đổi trọng số của mạng để giảm lỗi hoặc tổn thất đầu ra. Tuy nhiên, trong GAN, trình tạo không được kết nối trực tiếp với tổn thất mà chúng ta đang cố gắng tác động. Trình tạo sẽ đưa vào mạng phân biệt và bộ phân biệt sẽ tạo ra đầu ra mà chúng ta đang cố gắng tác động. Mất mát của trình tạo sẽ phạt trình tạo vì tạo ra một mẫu mà mạng phân biệt được phân loại là giả mạo.
Bạn phải đưa phần mạng bổ sung này vào quá trình truyền ngược. Phương pháp truyền ngược điều chỉnh từng trọng số theo đúng hướng bằng cách tính toán mức tác động của trọng số đối với đầu ra – mức độ thay đổi của đầu ra nếu bạn thay đổi trọng số. Tuy nhiên, tác động của trọng số của trình tạo phụ thuộc vào tác động của trọng số của bộ phân biệt mà trọng số của trình tạo được đưa vào. Vì vậy, quá trình truyền ngược bắt đầu từ đầu ra và chảy ngược lại thông qua bộ phân biệt vào trình tạo.
Đồng thời, chúng ta không muốn hàm phân biệt thay đổi trong quá trình huấn luyện trình tạo. Việc cố gắng bắn trúng mục tiêu đang di chuyển sẽ khiến trình tạo gặp khó khăn hơn nữa.
Vì vậy, chúng ta huấn luyện trình tạo bằng quy trình sau:
- Lấy mẫu tiếng ồn ngẫu nhiên.
- Tạo đầu ra của trình tạo từ nhiễu ngẫu nhiên được lấy mẫu.
- Nhận giá trị phân biệt "Thực" hoặc "Giả" cho đầu ra của trình tạo.
- Tính toán tổn thất từ việc phân loại đối tượng phân biệt.
- Truyền ngược thông qua cả bộ phân biệt và trình tạo để lấy độ dốc.
- Sử dụng độ dốc để chỉ thay đổi trọng số của trình tạo.
Đây là một vòng lặp của quá trình huấn luyện trình tạo. Trong phần tiếp theo, chúng ta sẽ xem cách cân bằng việc huấn luyện cả trình tạo và trình phân biệt.