Wieloklasowe sieci neuronowe

Wcześniej pojawiły się modele klasyfikacji binarnej, które pozwalają wybrać jedną z dwóch możliwych opcji:

  • Dany e-mail zawiera spam lub nie jest spamem.
  • Rany są złośliwe lub niegroźne.

W tym module zajmiemy się klasyfikacją wieloklasową, którą można wybrać z wielu możliwości. Przykład:

  • Czy ten pies jest bobrem, miotem czy krewitą?
  • Czy ten kwiat to irys syberyjski, irys niderlandzki, irys błękitny, czy krasnolud brunatny?
  • Czy to jest Boeing 747, Airbus 320, Boeing 777 czy Embraer 190?
  • Czy to zdjęcie: jabłko, niedźwiedź, cukierek, pies czy jajko?

Prawdziwe problemy wieloklasowe obejmują miliony oddzielnych zajęć. Możesz na przykład użyć wieloklasowego modelu klasyfikacji, który pozwala zidentyfikować obraz w praktycznie wszystkim.

Wieloklasowe sieci neuronowe

  • Regresja logistyczna daje duże prawdopodobieństwo wystąpienia problemów z klasą binarną.
    • spam / nie spam
    • kliknięcie / nie kliknięcie
  • Co z problemami wieloklasowymi?
    • jabłko, banan, samochód, kardiolog, ..., znak spaceru, zebra, zoo
    • czerwony, pomarańczowy, żółty, zielony, niebieski, indigo, fioletowy
    • zwierzę, warzywa, minerały
  • Twórz unikalne dane wyjściowe dla każdej możliwej klasy
  • Trenuj zgodnie z sygnałem „zajęcia” i „wszystkie inne zajęcia”.
  • Może robić to w głębokiej sieci lub za pomocą osobnych modeli
Sieć neuronowa z 5 ukrytymi warstwami i 5 warstwami wyjściowymi.
  • Dodaj dodatkowe ograniczenie: wymagaj, aby dane wyjściowe wszystkich węzłów 1 z całkowitą były sumowane do 1,0
  • Dodatkowe ograniczenie pomaga przyspieszyć trenowanie
  • Dodatkowo, wyniki wyjściowe mogą być interpretowane jako prawdopodobieństwo
Głęboka sieć neuronowa z warstwą wejściową, 2 nieukryte warstwy, potem warstwa Softmax, a następnie warstwę wyjściową z tą samą liczbą węzłów co warstwa Softmax.
  • Klasyfikacja jednoklasowa:
    • Przykład może być członkiem tylko jednej klasy.
    • Zwróć uwagę, że zajęcia są tu wykluczające się.
    • Warto go zakodować w stratie.
    • Użyj jednej straty softmax dla wszystkich możliwych zajęć.
  • Klasyfikacja wieloklasowa, Wiele etykiet:
    • Przykład może być członkiem więcej niż jednej klasy.
    • Brak dodatkowych ograniczeń dotyczących korzystania z zajęć.
    • Jedna utrata regresji dla każdej klasy.
  • Full SoftMax
    • Siła łamania; oblicza wszystkie zajęcia.
  • Full SoftMax
    • Siła łamania; oblicza wszystkie zajęcia.
  • Próbkowanie kandydatów
    • Oblicza wszystkie etykiety pozytywne, ale tylko dla losowej próby negatywnej.