Réseaux de neurones à classes multiples

Précédemment, vous avez rencontré des modèles de classification binaire pouvant choisir entre deux choix possibles, par exemple:

  • Un e-mail donné est un spam.
  • Une tumeur donnée est bénigne ou bénigne.

Dans ce module, nous allons étudier la classification à classes multiples, qui peut choisir parmi plusieurs possibilités. Exemple :

  • Ce chien est-il un beagle, un basset ou un lévrier ?
  • Cette fleur est-elle un iris de Sibérie, un iris néerlandais, un iris verseur de drapeau bleu ou un iris nain ?
  • Cet avion est-il un Boeing 747, un Airbus 320, un Boeing 777 ou un Embraer 190 ?
  • Cette image représente-t-elle une pomme, un ours, des friandises, un chien ou un œuf ?

Certains problèmes à plusieurs classes concrets impliquent de choisir parmi des millions de classes distinctes. Prenons l'exemple d'un modèle de classification à classes multiples qui peut identifier l'image de presque n'importe quel élément.

Réseaux de neurones à classes multiples

  • La régression logistique offre des probabilités utiles pour les problèmes de classe binaire.
    • spam / non-spam
    • clic / pas de clic
  • Qu'en est-il des problèmes à classes multiples ?
    • pomme, banane, voiture, cardiologue, ..., panneau de marche, zèbre, zoo
    • rouge, orange, jaune, vert, bleu, indigo, violet
    • animal, légume, minéral
  • Créer une sortie unique pour chaque classe possible
  • l'entraîner sur un signal entre "ma classe" et "tous les autres cours" ;
  • Peut être utilisé dans un réseau profond ou avec des modèles distincts
Un réseau de neurones avec cinq couches cachées et cinq couches de sortie.
  • Ajouter une contrainte supplémentaire: exigez que la somme de tous les nœuds un contre tous soit égale à 1,0
  • La contrainte supplémentaire aide l'entraînement à converger rapidement
  • De plus, les sorties peuvent être interprétées comme des probabilités.
Un réseau de neurones profond avec une couche d'entrée, deux couches cachées non descriptives, puis une couche Softmax, et enfin une couche de sortie avec le même nombre de nœuds que la couche Softmax.
  • Classification à plusieurs classes et étiquette unique:
    • Un exemple peut appartenir à une seule classe.
    • La contrainte que les classes s'excluent mutuellement est une structure utile.
    • Il est utile de l'encoder dans la perte.
    • Utilisez une perte softmax pour toutes les classes possibles.
  • Classification à plusieurs classes et à plusieurs étiquettes:
    • Un exemple peut appartenir à plusieurs classes.
    • Aucune contrainte supplémentaire à exploiter concernant l'appartenance aux cours.
    • Une perte de régression logistique pour chaque classe possible.
  • SoftMax complet
    • Force brute ; calcule pour toutes les classes.
  • SoftMax complet
    • Force brute ; calcule pour toutes les classes.
  • Échantillonnage de candidats
    • Calcule pour toutes les étiquettes positives, mais seulement pour un échantillon aléatoire de négatifs.