Contexte: Qu'est-ce qu'un modèle génératif ?

Que signifie "génératif" dans le nom "réseau antagoniste génératif" ? "Génératif" décrit une classe de modèles statistiques qui contraste avec les modèles discriminatifs.

De manière informelle:

• Les modèles génératifs peuvent générer de nouvelles instances de données.
• Les modèles discriminatifs font la distinction entre différents types d'instances de données.

Un modèle génératif peut générer de nouvelles photos d'animaux qui ressemblent à des animaux réels, tandis qu'un modèle discriminatif peut distinguer un chien d'un chat. Les GAN ne sont qu'un type de modèle génératif.

Plus formellement, étant donné un ensemble d'instances de données X et un ensemble d'étiquettes Y:

• Les modèles génératifs capturent la probabilité conjointe p(X, Y), ou simplement p(X) s'il n'y a pas de libellés.
• Les modèles discriminatifs capturent la probabilité conditionnelle p(Y | X).

Un modèle génératif inclut la distribution des données elles-mêmes et vous indique la probabilité d'un exemple donné. Par exemple, les modèles qui prédisent le mot suivant dans une séquence sont généralement des modèles génératifs (généralement beaucoup plus simples que les GAN), car ils peuvent attribuer une probabilité à une séquence de mots.

Un modèle discriminatif ignore la question de savoir si une instance donnée est probable et vous indique simplement la probabilité qu'une étiquette s'applique à l'instance.

Notez qu'il s'agit d'une définition très générale. Il existe de nombreux types de modèles génératifs. Les GAN ne sont qu'un type de modèle génératif.

Modéliser les probabilités

Aucun des deux types de modèles ne doit renvoyer un nombre représentant une probabilité. Vous pouvez modéliser la distribution des données en imitant cette distribution.

Par exemple, un classificateur discriminatif tel qu'un arbre de décision peut étiqueter une instance sans lui attribuer de probabilité. Un tel classificateur resterait un modèle, car la distribution de toutes les étiquettes prédites modéliserait la distribution réelle des étiquettes dans les données.

De même, un modèle génératif peut modéliser une distribution en produisant des données "factices" convaincantes qui semblent issues de cette distribution.

Les modèles génératifs sont difficiles

Les modèles génératifs s'attaquent à une tâche plus difficile que les modèles discriminatifs analogues. Les modèles génératifs doivent modéliser plus.

Un modèle génératif pour les images peut capturer des corrélations telles que "les objets qui ressemblent à des bateaux apparaîtront probablement à proximité d'objets qui ressemblent à de l'eau" et "les yeux ne sont pas susceptibles d'apparaître sur les fronts". Il s'agit de distributions très complexes.

En revanche, un modèle discriminatif peut apprendre la différence entre "bateau à voile" et "non bateau à voile" en recherchant simplement quelques tendances révélatrices. Il pourrait ignorer de nombreuses corrélations que le modèle génératif doit obtenir.

Les modèles discriminatifs tentent de tracer des limites dans l'espace de données, tandis que les modèles génératifs tentent de modéliser la façon dont les données sont placées dans l'espace. Par exemple, le diagramme suivant montre des modèles discriminatifs et génératifs de chiffres manuscrits:

Figure 1: Modèles discriminatifs et génératifs de chiffres manuscrits.

Le modèle discriminatif tente de faire la différence entre les zéros et les uns manuscrits en traçant une ligne dans l'espace de données. S'il obtient la ligne correcte, il peut distinguer les zéros des uns sans avoir à modéliser exactement l'emplacement des instances dans l'espace de données de chaque côté de la ligne.

En revanche, le modèle génératif tente de produire des "1" et des "0" convaincants en générant des chiffres proches de leurs homologues réels dans l'espace de données. Il doit modéliser la distribution dans l'espace de données.

Les GAN offrent un moyen efficace d'entraîner de tels modèles riches pour qu'ils ressemblent à une distribution réelle. Pour comprendre leur fonctionnement, nous devons comprendre la structure de base d'un GAN.

Testez vos connaissances: modèles génératifs et discriminatifs

Vous disposez des scores de QI de 1 000 personnes. Vous modélisez la distribution des scores de QI en procédant comme suit :

1. Lancez trois dés à six faces.
2. Multipliez le roulis par une constante w.
3. Répétez l'opération 100 fois et calculez la moyenne de tous les résultats.

Vous essayez différentes valeurs pour w jusqu'à ce que le résultat de votre procédure soit égal à la moyenne des scores de QI réels. Votre modèle est-il un modèle génératif ou discriminatif ?

Modèle génératif

C'est exact. À chaque lancer, vous générez le QI d'une personne imaginaire. De plus, votre modèle génératif tient compte du fait que les scores de QI sont distribués normalement (c'est-à-dire selon une courbe en cloche).

Modèle discriminatif

Faux: un modèle discriminatif analogue tenterait de faire la distinction entre différents types de scores de QI. Par exemple, un modèle discriminatif peut essayer de classer un QI comme faux ou réel.

Informations insuffisantes pour le savoir.

Ce modèle correspond bien à la définition de l'un de nos deux types de modèles.

Un modèle renvoie une probabilité lorsque vous lui fournissez une instance de données. S'agit-il d'un modèle génératif ou discriminatif ?

Modèle génératif

Un modèle génératif peut estimer la probabilité de l'instance, ainsi que la probabilité d'une étiquette de classe.

Modèle discriminatif

Un modèle discriminatif peut estimer la probabilité qu'une instance appartienne à une classe.

Informations insuffisantes pour le savoir.

Les modèles génératifs et discriminatifs peuvent estimer des probabilités (mais ils ne le doivent pas).