Что означает «генеративный» в названии «Генераторно-состязательная сеть»? « Генеративный » описывает класс статистических моделей, которые контрастируют с дискриминативными моделями.
Неофициально:
- Генеративные модели могут генерировать новые экземпляры данных.
- Дискриминационные модели различают разные типы экземпляров данных.
Генеративная модель может генерировать новые фотографии животных, похожих на настоящих животных, а дискриминационная модель может отличить собаку от кошки. GAN — это всего лишь один из видов генеративной модели.
Более формально, учитывая набор экземпляров данных X и набор меток Y:
- Генеративные модели фиксируют совместную вероятность p(X, Y) или просто p(X), если меток нет.
- Дискриминационные модели фиксируют условную вероятность p(Y | X).
Генеративная модель включает в себя распределение самих данных и сообщает вам, насколько вероятен данный пример. Например, модели, которые предсказывают следующее слово в последовательности, обычно являются генеративными моделями (обычно намного проще, чем GAN), поскольку они могут присваивать вероятность последовательности слов.
Дискриминационная модель игнорирует вопрос о том, вероятен ли данный экземпляр, и просто сообщает вам, насколько вероятно, что ярлык будет применен к этому экземпляру.
Обратите внимание, что это очень общее определение. Существует много видов генеративных моделей. GAN — это всего лишь один из видов генеративной модели.
Моделирование вероятностей
Ни одна из моделей не должна возвращать число, представляющее вероятность. Вы можете смоделировать распределение данных, имитируя это распределение.
Например, дискриминационный классификатор, такой как дерево решений, может маркировать экземпляр, не присваивая этой метке вероятность. Такой классификатор по-прежнему будет моделью, поскольку распределение всех предсказанных меток будет моделировать реальное распределение меток в данных.
Точно так же генеративная модель может моделировать распределение, создавая убедительные «фальшивые» данные, которые выглядят так, как будто они взяты из этого распределения.
Генеративные модели сложны
Генеративные модели решают более сложную задачу, чем аналогичные дискриминационные модели. Генеративным моделям приходится моделировать больше .
Генеративная модель изображений может фиксировать такие корреляции, как «предметы, похожие на лодки, вероятно, будут появляться рядом с предметами, похожими на воду» и «глаза вряд ли появятся на лбу». Это очень сложные дистрибутивы.
Напротив, дискриминационная модель может определить разницу между «парусником» и «не парусником», просто найдя несколько контрольных закономерностей. Он может игнорировать многие корреляции, которые должна получить правильная генеративная модель.
Дискриминационные модели пытаются провести границы в пространстве данных, тогда как генеративные модели пытаются смоделировать размещение данных в пространстве. Например, на следующей диаграмме показаны дискриминационная и генеративная модели рукописных цифр:
Рисунок 1: Дискриминационная и генеративная модели рукописных цифр.
Дискриминативная модель пытается отличить рукописные 0 от 1, рисуя линию в пространстве данных. Если он правильно поймет строку, он сможет отличить 0 от 1 без необходимости точного моделирования того, где экземпляры размещаются в пространстве данных по обе стороны от линии.
Напротив, генеративная модель пытается создать убедительные 1 и 0, генерируя цифры, которые близки к их реальным аналогам в пространстве данных. Он должен моделировать распределение по пространству данных.
GAN предлагают эффективный способ обучения таких богатых моделей, чтобы они напоминали реальное распределение. Чтобы понять, как они работают, нам нужно понять базовую структуру GAN.
Проверьте свое понимание: генеративные и дискриминативные модели
- Бросьте три шестигранных игральных кубика.
- Умножьте бросок на константу w.
- Повторите 100 раз и возьмите среднее значение всех результатов.