Генераторная часть GAN учится создавать фальшивые данные, учитывая обратную связь от дискриминатора. Он учится заставлять дискриминатор классифицировать его выходные данные как реальные.
Обучение генератора требует более тесной интеграции между генератором и дискриминатором, чем требует обучение дискриминатора. Часть GAN, которая обучает генератор, включает в себя:
- случайный ввод
- сеть генератора, которая преобразует случайные входные данные в экземпляр данных
- сеть дискриминатора, которая классифицирует сгенерированные данные
- выход дискриминатора
- потери генератора, которые наказывают генератор за то, что он не смог обмануть дискриминатор.
Рисунок 1: Обратное распространение ошибки при обучении генератора.
Случайный ввод
Нейронным сетям нужна какая-то форма ввода. Обычно мы вводим данные, с которыми хотим что-то сделать, например экземпляр, который хотим классифицировать или сделать прогноз. Но что мы используем в качестве входных данных для сети, которая выводит совершенно новые экземпляры данных?
В своей самой простой форме GAN принимает на вход случайный шум. Затем генератор преобразует этот шум в значимый результат. Введя шум, мы можем заставить GAN генерировать самые разнообразные данные, производя выборку из разных мест целевого распределения.
Эксперименты показывают, что распределение шума не имеет большого значения, поэтому мы можем выбрать что-то, из чего легко производить выборку, например равномерное распределение. Для удобства пространство, из которого производится выборка шума, обычно имеет меньшую размерность, чем размерность выходного пространства.
Использование дискриминатора для обучения генератора
Чтобы обучить нейронную сеть, мы изменяем ее веса, чтобы уменьшить ошибку или потерю выходных данных. Однако в нашей GAN генератор не связан напрямую с потерями, на которые мы пытаемся повлиять. Генератор подает сигнал в сеть дискриминатора, и дискриминатор выдает результат, на который мы пытаемся повлиять. Потеря генератора наказывает генератор за создание образца, который сеть дискриминатора классифицирует как поддельный.
Этот дополнительный участок сети должен быть включен в обратное распространение ошибки. Обратное распространение корректирует каждый вес в правильном направлении, вычисляя влияние веса на выходные данные — как изменится результат, если вы измените вес. Но влияние веса генератора зависит от влияния весов дискриминатора, в которые он подается. Таким образом, обратное распространение начинается на выходе и возвращается через дискриминатор в генератор.
В то же время мы не хотим, чтобы дискриминатор менялся во время обучения генератора. Попытка поразить движущуюся цель еще больше усложнит задачу генератора.
Итак, мы обучаем генератор с помощью следующей процедуры:
- Пример случайного шума.
- Произведите выходной сигнал генератора из выборочного случайного шума.
- Получите классификацию дискриминатора «Настоящая» или «Поддельная» для выхода генератора.
- Рассчитайте потери от классификации дискриминатора.
- Обратное распространение ошибки через дискриминатор и генератор для получения градиентов.
- Используйте градиенты, чтобы изменить только веса генератора.
Это одна итерация обучения генератора. В следующем разделе мы увидим, как совмещать обучение генератора и дискриминатора.