Поєднання ознак створюються шляхом перехрещування (декартового добутку) двох чи більше категорійних або сегментованих ознак із набору даних. Подібно до поліноміальних перетворень, поєднання ознак дають змогу лінійним моделям обробляти нелінійності. Крім того, в поєднаннях ознак кодується взаємодія між ними.
Наприклад, розгляньмо набір даних про листя з категорійними ознаками:
edges(краї), що містить значенняsmooth(гладкі),toothed(зубчасті) іlobed(роздільні);arrangement(розташування), що містить значенняopposite(супротивне) іalternate(чергове).
Припустімо, що наведений вище список відповідає порядку стовпців ознак у представленні з прямим кодуванням. Тоді лист із краями smooth і розташуванням opposite буде представлено як {(1, 0, 0), (1, 0)}.
Поєднання двох ознак (їх декартів добуток) буде таким:
{Smooth_Opposite, Smooth_Alternate, Toothed_Opposite, Toothed_Alternate,
Lobed_Opposite, Lobed_Alternate}
Значення кожного терміна є добутком значень базових ознак:
Smooth_Opposite = edges[0] * arrangement[0]Toothed_Opposite = edges[1] * arrangement[0]Lobed_Alternate = edges[2] * arrangement[1]
Для будь-якого прикладу з набору даних поєднання ознак дорівнюватиме 1, лише якщо початкові вектори прямого кодування обох базових ознак мають значення 1 для поєднаних категорій.
Тому листя дуба з роздільним краєм і черговим розташуванням матиме значення 1 лише для Lobed_Alternate, а поєднання ознак, наведене вище, виглядатиме так:
{0, 0, 0, 0, 0, 1}
Цей набір даних можна використовувати для класифікації листя за видами дерев, оскільки характеристики не змінюються в межах виду.
Коли використовувати поєднання ознак
Знання з предметної сфери допоможуть підібрати корисну комбінацію ознак для поєднання. Без цих знань може бути важко вручну визначити ефективні поєднання ознак або поліноміальні перетворення. Хоча для цього необхідні інтенсивні обчислення, часто можливо використовувати нейронні мережі для автоматичного пошуку й застосування корисних комбінацій ознак під час навчання.
Будьте обережні: поєднання двох розріджених ознак призводить до створення нової ознаки, яка є ще більш розрідженою, ніж дві первинні. Наприклад, якщо ознаки A і B розріджені й містять 100 й 200 елементів відповідно, то, поєднавши A і B, ви отримаєте розріджену ознаку з 20 000 елементів.