Contexte: Qu'est-ce qu'un modèle génératif ?

Que signifie le terme "réseau antagoniste génératif" ? Generative (génératif) décrit une classe de modèles statistiques qui contraste avec les modèles discriminatifs.

Informelle:

• Les modèles génératifs peuvent générer de nouvelles instances de données.
• Les modèles discriminatifs font la distinction entre différents types d'instances de données.

Un modèle génératif pourrait générer de nouvelles photos d'animaux ressemblant à de vrais animaux, tandis qu'un modèle discriminatif pourrait distinguer un chien d'un chat. Les GAN ne sont qu'un type de modèle génératif.

Plus formellement, avec un ensemble d'instances de données X et un ensemble de libellés Y:

• Les modèles génératifs capturent la probabilité conjointe p(X, Y) ou simplement p(X) s'il n'y a pas d'étiquette.
• Les modèles discriminatifs capturent la probabilité conditionnelle p(Y | X).

Un modèle génératif inclut la distribution des données et la probabilité qu'un exemple soit donné. Par exemple, les modèles qui prédisent le mot suivant dans une séquence sont généralement des modèles génératifs (généralement beaucoup plus simples que les GAN), car ils peuvent attribuer une probabilité à une séquence de mots.

Un modèle discriminatif ignore la question de savoir si une instance donnée est susceptible d'être diffusée et vous indique simplement la probabilité qu'une étiquette soit appliquée à l'instance.

Notez que cette définition est très générale. Il existe de nombreux types de modèles génératifs. Les GAN ne sont qu'un type de modèle génératif.

Probabilités de modélisation

Aucun type de modèle ne doit renvoyer de nombre représentant une probabilité. Vous pouvez modéliser la distribution des données en imitant cette distribution.

Par exemple, un classificateur discriminatif comme un arbre de décision peut étiqueter une instance sans lui attribuer de probabilité. Un classificateur reste un modèle, car la distribution de toutes les étiquettes prédites modélise la distribution réelle des étiquettes dans les données.

De la même manière, un modèle génératif peut modéliser une distribution en produisant des données fictives convaincantes qui sont extraites de cette distribution.

Les modèles génératifs sont difficiles

Les modèles génératifs relèvent une tâche plus complexe que les modèles discriminatifs analogues. Les modèles génératifs doivent en avoir plus.

Un modèle génératif pour les images peut capturer des corrélations telles que des éléments qui ressemblent à des bateaux, et qui sont susceptibles d'apparaître à proximité d'éléments ressemblant à de l'eau. Il est également peu probable que les yeux s'affichent sur les fronts. Ces distributions sont très complexes.

À l'inverse, un modèle discriminatif peut apprendre la différence entre "voilier" et "pas voilier" en recherchant seulement quelques tendances narratives. Elle risque d'ignorer de nombreuses corrélations que doit avoir le modèle génératif.

Les modèles discriminatifs essaient de fixer des limites dans l'espace de données, tandis que les modèles génératifs tentent de modéliser la façon dont les données sont placées dans cet espace. Par exemple, le schéma suivant illustre des modèles discriminatifs et génératifs de chiffres manuscrits:

Figure 1: Modèles discriminatifs et génératifs de chiffres manuscrits

Le modèle discriminatif tente de faire la différence entre des "0" et des "1" écrits à la main en dessinant une ligne dans l'espace de données. Si la ligne est correcte, elle peut distinguer les 0 des 1's sans même avoir à modéliser exactement où les instances sont placées dans l'espace de données de chaque côté de la ligne.

En revanche, le modèle génératif tente de produire des 1&s et 0&s-39;s convaincants en générant des chiffres qui se rapprochent de leurs homologues dans l'espace de données. Il doit modéliser la distribution dans l'espace de données.

Les GAN offrent un moyen efficace d'entraîner des modèles aussi riches que pour ressembler à une distribution réelle. Pour comprendre leur fonctionnement, nous devons comprendre la structure de base d'un GAN.

Testez vos connaissances: modèles génératifs et discriminatifs

Vous avez obtenu des scores de QI pour 1 000 personnes. Pour modéliser la distribution des scores IQ, procédez comme suit :

1. Lancer trois dés à six côtés.
2. Multipliez le lancer par un w constant.
3. Répétez 100 fois la moyenne de tous les résultats.

Vous essayez différentes valeurs pour w jusqu'à ce que le résultat de votre procédure soit égal à la moyenne des scores réels de l'IQ. Votre modèle est-il génératif ou discriminatif ?

Modèle génératif

Bonne réponse: à chaque tour, vous générez l'IQ d'une personne imaginaire. De plus, votre modèle génératif prend en compte le fait que les scores IQ sont distribués normalement (c'est-à-dire sur une courbe en cloche).

Modèle discriminatif

Mauvaise réponse: un modèle discriminatif analogue tenterait de faire la distinction entre différents types de scores de IQ. Par exemple, un modèle discriminatif peut tenter de classer une QI comme étant fictive ou réelle.

Informations insuffisantes.

Ce modèle correspond bien à la définition de l'un de nos deux types de modèles.

Un modèle renvoie une probabilité lorsque vous lui fournissez une instance de données. S'agit-il d'un modèle génératif ou discriminatif ?

Modèle génératif

Un modèle génératif peut estimer la probabilité de l'instance et la probabilité d'une étiquette de classe.

Modèle discriminatif

Un modèle discriminatif peut estimer la probabilité qu'une instance appartienne à une classe.

Informations insuffisantes.

Les modèles génératifs et discriminatifs permettent d'estimer les probabilités (mais ce n'est pas obligatoire).