Klasyfikację wieloklasową można traktować jako rozszerzenie klasyfikacji binarnej o więcej niż 2 klasy. Jeśli każdy przykład można przypisać tylko do jednej klasy, problem z klasyfikacją można traktować jak problem z klasyfikacją binarną, w którym jedna klasa zawiera jedną z wielu klas, a reszta wszystkie pozostałe klasy razem. Ten proces można następnie powtórzyć dla wszystkich oryginalnych zajęć.
Na przykład w przypadku problemu klasyfikacji wieloklasowej z 3 klasami, w którym przykłady są klasyfikowane według etykiet A, B i C, można przekształcić ten problem w 2 oddzielne problemy klasyfikacji binarnej. Najpierw możesz utworzyć klasyfikator binarny, który kategoryzuje przykłady za pomocą etykiety A+B i etykiety C. Następnie możesz utworzyć drugi klasyfikator binarny, który ponownie przypisze etykiety A+B za pomocą etykiety A i etykiety B.
Przykładem zadania wieloklasowego jest klasyfikator pisma odręcznego, który wybiera obraz cyfry pisanej odręcznie i decyduje, którą cyfrę (0–9) należy przedstawić.
Jeśli przynależność do klasy nie jest wyłączna, co oznacza, że przykład może zostać przypisany do wielu klas, mamy do czynienia z problemem klasyfikacji z wieloma etykietami.