Bazen, makine öğrenimi uzmanının bir değişkenin başka bir değişkenin karesi, küpü veya başka bir kuvvetiyle ilgili olduğunu gösteren alan bilgisi varsa mevcut sayısal özelliklerden bir sentetik özellik oluşturmak yararlı olur.
Aşağıdaki veri noktaları dağılımını düşünün. Pembe daireler bir sınıfı veya kategoriyi (ör. bir ağaç türü) ve yeşil üçgenler başka bir sınıfı (veya ağaç türünü) temsil etmektedir:
İki sınıfı net bir şekilde ayıran düz bir çizgi çizilemez ancak bunu yapan bir eğri çizmek mümkündür:
Doğrusal regresyon modülü bölümünde belirtildiği gibi, $x_1$ adlı tek bir özelliğe sahip doğrusal model, doğrusal denklemle açıklanır:
Ek özellikler, \(w_2x_2\),\(w_3x_3\)vb. terimlerin eklenmesi ile yönetilir.
Gradyan azalma,modelin kaybını en aza indiren ağırlığı ($w_1$) (veya ek özellikler söz konusu olduğunda\(w_1\), \(w_2\), \(w_3\)ağırlıkları) bulur. Ancak gösterilen veri noktaları çizgiyle ayrılamaz. Bu konuda ne yapılabilir?
Hem doğrusal denklemi korumak hem de yeni bir terim tanımlayarak doğrusal olmayanlığa izin vermek mümkündür. Bu terim, \(x_1\) 'ın karesidir: \(x_2\)
Polinom dönüşümü olarak adlandırılan bu sentetik özellik, diğer özellikler gibi işlenir. Önceki doğrusal formül şu şekilde olur:
Bu, gizli bir kare terimi (polinom dönüşümü) içermesine rağmen yine de bir doğrusal regresyon problemi gibi ele alınabilir ve ağırlıklar, her zamanki gibi gradyan azalma yöntemiyle belirlenir. Doğrusal modelin eğitilme şeklini değiştirmeden polinom dönüşümü eklemek, modelin $y = b + w_1x + w_2x^2$ şeklinde bir eğri kullanarak veri noktalarını ayırmasına olanak tanır.
Genellikle ilgilenilen sayısal özellik kendisiyle çarpılır, yani bir üssüne yükseltilir. Bazen bir yapay zeka uzmanı, uygun üs hakkında bilinçli bir tahminde bulunabilir. Örneğin, fiziksel dünyadaki birçok ilişki kareli terimlerle ilgilidir. Örneğin, yerçekimi nedeniyle ivmelenme, mesafeye bağlı olarak ışık veya sesin zayıflaması ve elastik potansiyel enerji.
Bir özelliği ölçeğini değiştirecek şekilde dönüştürürseniz normalleştirmeyi de deneyebilirsiniz. Dönüştürdükten sonra normalleştirmek, modelin daha iyi performans göstermesini sağlayabilir. Daha fazla bilgi için Sayısal Veriler: Normalleştirme başlıklı makaleyi inceleyin.
Kategorik verilerde ilgili bir kavram da özellik çaprazlamasıdır. Bu işlem, daha sıklıkla iki farklı özelliği sentez eder.