Вы, возможно, помните из упражнений с перекрестными признаками в модуле Категориальные данные , что следующая задача классификации является нелинейной:
«Нелинейный» означает, что вы не можете точно предсказать этикетку с помощью модели формы. \(b + w_1x_1 + w_2x_2\). Другими словами, «поверхность принятия решений» — это не линия.
Однако, если мы выполним перекрестное преобразование наших объектов $x_1$ и $x_2$, мы сможем представить нелинейную связь между двумя объектами, используя линейную модель : $b + w_1x_1 + w_2x_2 + w_3x_3$, где $x_3$ — это функция, пересекающаяся между $x_1$ и $x_2$:
Теперь рассмотрим следующий набор данных:
Вы также можете вспомнить из упражнений по скрещиванию признаков , что определение правильных скрещиваний признаков для соответствия линейной модели этим данным потребовало немного больше усилий и экспериментов.
Но что, если бы вам не пришлось проводить все эти эксперименты самостоятельно? Нейронные сети — это семейство модельных архитектур, предназначенных для поиска нелинейных закономерностей в данных. Во время обучения нейронной сети модель автоматически изучает оптимальные пересечения функций для работы с входными данными, чтобы минимизировать потери.
В следующих разделах мы подробнее рассмотрим, как работают нейронные сети.