אולי כדאי לזכור תרגילים משולבים במודול הנתונים הקטגוריים, שבעיית הסיווג הבאה היא לא ליניארית:
'לא לינארי' פירושו שלא ניתן לחזות באופן מדויק תווית עם בצורת \(b + w_1x_1 + w_2x_2\). במילים אחרות, 'שטח לקבלת החלטה' הוא לא שורה.
עם זאת, אם נבצע שילוב של תכונות בתכונות $x_1$ ו-$x_2$, נוכל לייצג את הקשר הלא ליניארי בין שתי התכונות באמצעות מודל לינארי: $b + w_1x_1 + w_2x_2 + w_3x_3$ כאשר $x_3$ הוא שילוב התכונות $x_1$ ו-$x_2$:
עכשיו נבחן את מערך הנתונים הבא:
אפשר גם להיזכר בתרגילי פיצ'ר חוצה-תכונות שקובעת מהי התכונה הנכונה חוצה כדי להתאים מודל ליניארי לנתונים האלה השקענו קצת יותר מאמץ וניסויים.
אבל מה אם לא הייתם צריכים לבצע את כל הניסויים בעצמכם? רשתות נוירונים הן משפחה של ארכיטקטורות מודלים לא לינארי דפוסים בנתונים. במהלך האימון של רשת נוירונים, בניית מודל באופן אוטומטי לומדת את הצלבות התכונות האופטימליות שצריך לבצע על נתוני הקלט כדי לצמצם .
בחלקים הבאים נבחן מקרוב את האופן שבו רשתות נוירונים פועלות.