¿Qué significa “generativa” en el nombre “red generativa adversaria”? "Generativo" describe una clase de modelos estadísticos que contrasta con los modelos discriminativos.
De forma informal:
- Los modelos generativos pueden generar instancias de datos nuevas.
- Los modelos discriminativos discriminan entre diferentes tipos de instancias de datos.
Un modelo generativo podría generar fotos nuevas de animales que se ven como animales reales, mientras que un modelo discriminativo podría distinguir un perro de un gato. Las GAN son solo un tipo de modelo generativo.
De forma más formal, dado un conjunto de instancias de datos X y un conjunto de etiquetas Y:
- Los modelos generativos capturan la probabilidad conjunta p(X, Y), o solo p(X) si no hay etiquetas.
- Los modelos discriminativos capturan la probabilidad condicional p(Y | X).
Un modelo generativo incluye la distribución de los datos en sí y te indica la probabilidad de un ejemplo determinado. Por ejemplo, los modelos que predicen la siguiente palabra en una secuencia suelen ser modelos generativos (por lo general, mucho más simples que los GAN) porque pueden asignar una probabilidad a una secuencia de palabras.
Un modelo discriminativo ignora la pregunta de si es probable que se produzca una instancia determinada y solo te indica la probabilidad de que se aplique una etiqueta a la instancia.
Ten en cuenta que esta es una definición muy general. Existen muchos tipos de modelos generativos. Las GAN son solo un tipo de modelo generativo.
Modelado de probabilidades
Ninguno de los tipos de modelos tiene que mostrar un número que represente una probabilidad. Para modelar la distribución de datos, puedes imitar esa distribución.
Por ejemplo, un clasificador discriminativo, como un árbol de decisiones, puede etiquetar una instancia sin asignarle una probabilidad. Un clasificador de este tipo seguiría siendo un modelo, ya que la distribución de todas las etiquetas predichas modelaría la distribución real de las etiquetas en los datos.
Del mismo modo, un modelo generativo puede modelar una distribución produciendo datos “falsos” convincentes que parecen provenir de esa distribución.
Los modelos generativos son difíciles
Los modelos generativos abordan una tarea más difícil que los modelos discriminativos análogos. Los modelos generativos tienen que modelar más.
Un modelo generativo para imágenes podría capturar correlaciones como "es probable que los elementos que parecen barcos aparezcan cerca de elementos que parecen agua" y "es poco probable que los ojos aparezcan en las frentes". Estas son distribuciones muy complicadas.
En cambio, un modelo discriminativo podría aprender la diferencia entre “velero” o “no velero” con solo buscar algunos patrones reveladores. Podría ignorar muchas de las correlaciones que el modelo generativo debe hacer correctamente.
Los modelos discriminativos intentan establecer límites en el espacio de datos, mientras que los modelos generativos intentan modelar cómo se ubican los datos en todo el espacio. Por ejemplo, en el siguiente diagrama, se muestran modelos discriminativos y generativos de dígitos escritos a mano:
Figura 1: Modelos discriminativos y generativos de dígitos escritos a mano.
El modelo discriminativo intenta distinguir entre los 0 y los 1 escritos a mano dibujando una línea en el espacio de datos. Si obtiene la línea correcta, puede distinguir los 0 de los 1 sin tener que modelar exactamente dónde se colocan las instancias en el espacio de datos a ambos lados de la línea.
En cambio, el modelo generativo intenta producir 1 y 0 convincentes mediante la generación de dígitos que se encuentran cerca de sus contrapartes reales en el espacio de datos. Debe modelar la distribución en todo el espacio de datos.
Las GAN ofrecen una forma eficaz de entrenar modelos tan ricos para que se parezcan a una distribución real. Para comprender cómo funcionan, debemos comprender la estructura básica de una GAN.
Comprueba tu comprensión: Modelos generativos en comparación con los discriminativos
- Lanza tres dados de seis caras.
- Multiplica el giro por una constante w.
- Repite el proceso 100 veces y toma el promedio de todos los resultados.