Antecedentes: ¿Qué es un modelo generativo?

¿Qué significa "generativo" en el nombre "Red generativa adversaria"? Generativo describe una clase de modelos estadísticos que contrasta con los modelos discriminativos.

De manera informal:

• Los modelos generativos pueden generar instancias de datos nuevas.
• Los modelos discriminativos discriminan a los diferentes tipos de instancias de datos.

Un modelo generativo puede generar nuevas fotos de animales que parecen animales reales, mientras que un modelo discriminativo podría distinguir un perro de un gato. Las GAN son solo un tipo de modelo generativo.

De manera más formal, dado un conjunto de instancias de datos X y un conjunto de etiquetas Y:

• Los modelos generativos capturan la probabilidad conjunta p(X, Y) o solo p(X) si no hay etiquetas.
• Los modelos discriminativos capturan la probabilidad condicional p(Y | X).

Un modelo generativo incluye la distribución de los datos en sí y te indica qué tan probable es un ejemplo determinado. Por ejemplo, los modelos que predicen la siguiente palabra en una secuencia suelen ser modelos generativos (por lo general, mucho más simples que las GAN) porque pueden asignar una probabilidad a una secuencia de palabras.

Un modelo discriminativo ignora la posibilidad de que una instancia determinada sea probable y solo te indica la probabilidad de que una etiqueta se aplique a la instancia.

Ten en cuenta que esta es una definición muy general. Hay muchos tipos de modelos generativos. Las GAN son solo un tipo de modelo generativo.

Modelar probabilidades

Ningún tipo de modelo debe mostrar un número que represente una probabilidad. Puedes modelar la distribución de datos imitando esa distribución.

Por ejemplo, un clasificador discriminativo como un árbol de decisión puede etiquetar una instancia sin asignar una probabilidad a esa etiqueta. Este tipo de clasificador aún sería un modelo porque la distribución de todas las etiquetas predichas modelaría la distribución real de las etiquetas en los datos.

Del mismo modo, un modelo generativo puede modelar una distribución mediante la producción de datos convincentes y falsos que parezcan extraídos de esa distribución.

Los modelos generativos son difíciles

Los modelos generativos abordan una tarea más difícil que los modelos discriminativos análogos. Los modelos generativos deben modelar más.

Un modelo generativo para imágenes puede capturar correlaciones como elementos que parecen barcos, probablemente aparezcan cerca de elementos que parecen agua y que, probablemente, los ojos no aparezcan en la frente. Estas distribuciones son muy complicadas.

Por el contrario, un modelo discriminativo puede aprender la diferencia entre un velero o no un velero con solo buscar algunos patrones narrativos. Puede ignorar muchas de las correlaciones que debe tener el modelo generativo.

Los modelos discriminatorios intentan trazar límites en el espacio de datos, mientras que los modelos generativos intentan modelar cómo se colocan los datos en el espacio. Por ejemplo, en el siguiente diagrama, se muestran modelos discriminativos y generativos de dígitos escritos a mano:

Figura 1: Modelos discriminantes y generativos de dígitos escritos a mano.

El modelo discriminativo intenta distinguir entre 0 y 193 manuscritas mediante una línea en el espacio de datos. Si logra la línea correcta, puede distinguir entre 0 y 1 sin necesidad de modelar exactamente dónde se ubican las instancias en el espacio de datos a ambos lados de la línea.

Por el contrario, el modelo generativo intenta producir valores convincentes de 1 y 39 mediante la generación de dígitos que se asemejen a sus equivalentes reales en el espacio de datos. Tiene que modelar la distribución en todo el espacio de datos.

Las GAN ofrecen una forma efectiva de entrenar esos modelos enriquecidos para que se parezcan a una distribución real. Para entender cómo funcionan, necesitamos conocer la estructura básica de una GAN.

Comprueba tu comprensión: Modelos generativos frente a modelos discriminatorios

Tiene una puntuación de CI para 1,000 personas. Puedes modelar la distribución de las puntuaciones de IQ con el siguiente procedimiento:

1. Lanza tres dados de seis lados.
2. Multiplica el lanzamiento por una constante w.
3. Repite el procedimiento 100 veces y toma el promedio de todos los resultados.

Prueba diferentes valores para w hasta que el resultado del procedimiento sea igual al promedio de las puntuaciones de coeficiente intelectual reales. ¿Tu modelo es generativo o discriminativo?

Modelo generativo

Correcto: Con cada lanzamiento, generas de manera efectiva el coeficiente intelectual de una persona imaginaria. Además, tu modelo generativo captura el hecho de que las puntuaciones de IQ se distribuyen normalmente (es decir, en una curva en forma de campana).

Modelo discriminatorio

Incorrecto: Un modelo discriminativo análogo intentaría discriminar entre diferentes tipos de puntuaciones de IQ. Por ejemplo, un modelo discriminativo podría intentar clasificar un coeficiente intelectual como falso o real.

No hay suficiente información.

De hecho, este modelo no se ajusta a la definición de uno de nuestros dos tipos de modelos.

Un modelo muestra una probabilidad cuando le asignas una instancia de datos. ¿Es un modelo generativo o discriminativo?

Modelo generativo

Un modelo generativo puede estimar la probabilidad de la instancia y la de una etiqueta de clase.

Modelo discriminatorio

Un modelo discriminativo puede estimar la probabilidad de que una instancia pertenezca a una clase.

No hay suficiente información.

Tanto los modelos generativos como los discriminativos pueden estimar las probabilidades (pero no es necesario).