Нейронные сети

Вы, возможно, помните из упражнений с перекрестными признаками в модуле Категориальные данные , что следующая задача классификации является нелинейной:

Рисунок 1. Плоскость декартовых координат, разделенная на четыре квадранта, каждый из которых заполнен случайными точками, имеющими форму, напоминающую квадрат. Точки в правом верхнем и левом нижнем квадрантах синие, а точки в левом верхнем и правом нижнем квадрантах — оранжевые.
Рисунок 1. Задача нелинейной классификации. Линейная функция не может четко отделить все синие точки от оранжевых.

«Нелинейный» означает, что вы не можете точно предсказать этикетку с помощью модели формы. \(b + w_1x_1 + w_2x_2\). Другими словами, «поверхность принятия решений» — это не линия.

Однако, если мы выполним перекрестное преобразование наших объектов $x_1$ и $x_2$, мы сможем представить нелинейную связь между двумя объектами, используя линейную модель : $b + w_1x_1 + w_2x_2 + w_3x_3$, где $x_3$ — это функция, пересекающаяся между $x_1$ и $x_2$:

Рисунок 2. Та же декартова координатная плоскость синих и оранжевых точек, что и на рисунке 1. Однако на этот раз поверх сетки нанесена белая гиперболическая кривая, которая разделяет синие точки в верхнем правом и нижнем левом квадрантах (теперь заштрихованы). с синим фоном) из оранжевых точек в верхнем левом и нижнем правом секторах (теперь заштрихованные оранжевым фоном).
Рисунок 2. Добавляя перекрестие признаков x 1 x 2 , линейная модель может изучить гиперболическую форму, которая отделяет синие точки от оранжевых точек.

Теперь рассмотрим следующий набор данных:

Рис. 3. Декартова координатная плоскость, разделенная на четыре квадранта.       Круглый кластер синих точек расположен в начале графика и окружен кольцом оранжевых точек.
Рисунок 3. Более сложная задача нелинейной классификации.

Вы также можете вспомнить из упражнений по скрещиванию признаков , что определение правильных скрещиваний признаков для соответствия линейной модели этим данным потребовало немного больше усилий и экспериментов.

Но что, если бы вам не пришлось проводить все эти эксперименты самостоятельно? Нейронные сети — это семейство модельных архитектур, предназначенных для поиска нелинейных закономерностей в данных. Во время обучения нейронной сети модель автоматически изучает оптимальные пересечения функций для работы с входными данными, чтобы минимизировать потери.

В следующих разделах мы подробнее рассмотрим, как работают нейронные сети.