Você pode se lembrar dos exercícios de cruzamento de atributos no Módulo de dados categóricos, que o seguinte problema de classificação não é linear:

"Não linear" significa que não é possível prever com precisão um rótulo com um modelo do formulário \(b + w_1x_1 + w_2x_2\). Em outras palavras, a "superfície de decisão" não é uma linha.
No entanto, se realizarmos um cruzamento de atributos em nossos atributos $x_1$ e $x_2$, poderemos depois representam a relação não linear entre os dois atributos usando uma modelo linear: $b + w_1x_1 + w_2x_2 + w_3x_3$, em que $x_3$ é o cruzamento de atributos $x_1$ e $x_2$:

Agora, considere o seguinte conjunto de dados:

Talvez você também se lembre dos exercícios de cruzamento de atributos que determinar os cruzamentos de atributos corretos para ajustar um modelo linear a esses dados exigia um pouco mais de esforço e experimentação.
Mas e se você não tivesse que fazer todos os experimentos por conta própria? Redes neurais são uma família de arquiteturas de modelos projetadas para encontrar padrões não lineares nos dados. Durante o treinamento de uma rede neural, o modelo aprende automaticamente as combinações de recursos ideais a serem realizadas nos dados de entrada para minimizar a perda.
Nas próximas seções, vamos analisar mais detalhadamente como as redes neurais funcionam.