Klasifikasi multi-kelas dapat diperlakukan sebagai perluasan dari klasifikasi biner ke lebih dari dua kelas. Jika setiap contoh hanya dapat ditetapkan ke satu class, maka masalah klasifikasi dapat ditangani sebagai masalah klasifikasi biner, di mana satu class berisi salah satu dari beberapa , dan class lainnya berisi semua class lain yang digabungkan. Proses ini kemudian dapat diulang untuk setiap class asli.
Misalnya, dalam masalah klasifikasi kelas multi kelas tiga, tempat Anda mengklasifikasikan contoh dengan label A, B, dan C, Anda dapat mengubah soal menjadi dua klasifikasi biner terpisah menyelesaikan semua jenis permasalahan. Pertama, Anda dapat membuat pengklasifikasi biner yang mengategorikan contoh menggunakan label A+B dan label C. Lalu, Anda bisa membuat pengklasifikasi biner yang mengklasifikasikan ulang contoh-contoh yang berlabel A+B menggunakan label A dan label B.
Contoh dari masalah kelas ganda adalah pengklasifikasi tulisan tangan yang mengambil sebuah gambar dari sebuah digit tulisan tangan dan memutuskan digit mana, 0-9, yang diwakili.
Jika keanggotaan kelas tidak bersifat eksklusif, contohnya dapat berupa ditetapkan ke beberapa kelas, hal ini dikenal sebagai klasifikasi multi-label masalah.