Ранее вы сталкивались с моделями бинарной классификации, которые могли выбирать между одним из двух возможных вариантов, например:
- Данное электронное письмо является спамом или не спамом.
- Данная опухоль является злокачественной или доброкачественной.
В этом модуле мы исследуем многоклассовую классификацию, которая может выбирать из множества возможностей. Например:
- Эта собака бигль, бассет-хаунд или ищейка?
- Является ли этот цветок сибирским ирисом, голландским ирисом, ирисом с голубым флагом или карликовым бородатым ирисом?
- Это Боинг 747, Аэробус 320, Боинг 777 или Эмбраер 190?
- Это изображение яблока, медведя, конфеты, собаки или яйца?
Некоторые реальные многоклассовые задачи предполагают выбор из миллионов отдельных классов. Например, рассмотрим модель классификации с несколькими классами, которая может идентифицировать изображение практически чего угодно.
Мультиклассовые нейронные сети
Больше двух классов?
- Логистическая регрессия дает полезные вероятности для задач бинарного класса.
- спам/не спам
- щелкнуть / не щелкнуть
- Как насчет многоклассовых задач?
- яблоко, банан, машина, кардиолог, ..., пешеходный знак, зебра, зоопарк
- красный, оранжевый, желтый, зеленый, синий, индиго, фиолетовый
- животное, растительное, минеральное
Один против всех
- Создайте уникальный вывод для каждого возможного класса
- Тренируйте это по сигналу «мой класс» и «все остальные классы».
- Можно делать в глубокой сети, или с отдельными моделями
Мультикласс SoftMax
- Добавьте дополнительное ограничение: Требовать, чтобы результат всех узлов «один против всех» равнялся 1,0.
- Дополнительное ограничение помогает обучению быстро сходиться
- Кроме того, позволяет интерпретировать результаты как вероятности
Что использовать Когда?
- Многоклассовая, одноэтапная классификация:
- Пример может быть членом только одного класса.
- Ограничение, что классы являются взаимоисключающими, является полезной структурой.
- Полезно кодировать это в потерях.
- Используйте один softmax loss для всех возможных классов.
- Многоклассовая, многоуровневая классификация:
- Примером может быть член более чем одного класса.
- Никаких дополнительных ограничений на членство в классе для эксплуатации.
- Одна потеря логистической регрессии для каждого возможного класса.
Параметры SoftMax
- Полный СофтМакс
- Грубая сила; расчет для всех классов.
Параметры SoftMax
- Полный СофтМакс
- Грубая сила; расчет для всех классов.
- Выборка кандидатов
- Рассчитывается для всех положительных меток, но только для случайной выборки отрицательных.