GAN 有許多常見的失敗模式,這些常見問題都是在積極研究方面。儘管問題完全沒有解決,但我們提及了使用者嘗試過的一些問題。
漸層漸層
研究建議,如果歧視器產品的準確度過高,發電機訓練可能會因為漸層梯度有誤而失敗。實際上,最佳歧視器提供的資訊並不能讓產生器產生進度。
嘗試救濟措施
- Wasserstein 損失:Wasserstein 損失旨在防止漸進式梯度發生,即使您訓練過向歧視器達到最佳成效。
- 修改的 minimax 損失:原始 GAN 論文已提出修改至 minimax 損失的相關處理,以處理漸層漸層。
收合模式
通常您希望 GAN 產生各種輸出內容。例如,您想要在相片產生器的每個隨機輸入內容中,都換一個不同的臉孔。
不過,如果產生器產生特別可行的輸出,產生器可能會學習「僅」產生該輸出內容。事實上,產生器不斷嘗試尋找看似最容易歧視的輸出。
如果產生器持續產生相同的輸出內容 (或一小組輸出內容),則判定器的最佳做法是學習如何一律拒絕該輸出內容。但是,如果新一代的轉接器卡住在本機最小值中,卻找不到最佳策略,則對下一代的產生器疊代來說,這種做法顯得不易,因此可以為當前的辨別器找出最合理的輸出內容。
每個疊代的疊代子都會經過最佳化處理,讓特定歧視內容變得過度最佳化,而且歧視器絕對不會管理相關資訊。因此,產生器會旋轉一組小型輸出類型。這種形式的 GAN 失敗稱為「模式收合」。
嘗試救濟措施
下列方法會防止單一最佳化器對單一固定歧視器進行最佳化,以強制發電機擴大範圍:
- Wasserstein 損失:Wasserstein 損失可讓您讓訓練器收到最優異的可視區域,而不必擔心梯度消失。如果歧視器沒有卡在本機小型環境中,則會學會拒絕產生器的穩定模式。因此,發電機必須嘗試新的事物。
- 未復原的 GAN:未復原的 GAN 使用的產生器損失函式,不僅包含目前的歧視內容類別,也包含日後子母畫面版本的輸出內容。因此,生成器無法過度最佳化單一歧視器。
無法收容
如訓練模組中所述,GAN 往往無法融合。
嘗試救濟措施
研究人員會嘗試使用各種形式的正規化來改善 GAN 融合,包括:
- 在歧視輸入端新增雜訊:請參閱「 Toward Principled Methods for Training Gengenative Conversative Networks」。
- 緩解歧視權重:詳情請參閱「透過正規化穩定生成網路對訓練網路的訓練」。