Die Klassifizierung mit mehreren Klassen kann als Erweiterung der binären Klassifizierung auf mehr als zwei Klassen betrachtet werden. Wenn jedes Beispiel nur einer Klasse zugewiesen werden kann, kann das Klassifizierungsproblem als binäres Klassifizierungsproblem behandelt werden, bei dem eine Klasse eine der mehreren Klassen und die andere Klasse alle anderen Klassen zusammen enthält. Der Vorgang kann dann für jeden der ursprünglichen Kurse wiederholt werden.
Bei einem Klassifizierungsproblem mit drei Klassen, bei dem Sie Beispiele mit den Labels A, B und C klassifizieren, können Sie das Problem in zwei separate binäre Klassifizierungsprobleme unterteilen. Zuerst können Sie einen binären Klassifikator erstellen, der Beispiele mit dem Label A+B und dem Label C kategorisiert. Anschließend können Sie einen zweiten binären Klassifikator erstellen, der die mit A+B gekennzeichneten Beispiele mit den Labels A und B neu klassifiziert.
Ein Beispiel für ein Problem mit mehreren Klassen ist ein Handschriftklassifikator, der ein Bild einer handschriftlichen Ziffer annimmt und entscheidet, welche Ziffer 0–9 dargestellt wird.
Wenn die Zugehörigkeit zu einer Klasse nicht exklusiv ist, d. h., ein Beispiel mehreren Klassen zugewiesen werden kann, spricht man von einem Multilabel-Klassifizierungsproblem.