Đôi khi, khi người thực hành học máy có kiến thức chuyên môn cho thấy một biến liên quan đến bình phương, khối lập phương hoặc lũy thừa khác của một biến khác, thì việc tạo một tính năng tổng hợp từ một trong các tính năng số hiện có sẽ rất hữu ích.
Hãy xem xét sự phân tán các điểm dữ liệu sau đây, trong đó các vòng tròn màu hồng đại diện cho một lớp hoặc danh mục (ví dụ: một loài cây) và các tam giác màu xanh lục đại diện cho một lớp khác (hoặc một loài cây khác):
Bạn không thể vẽ một đường thẳng phân tách rõ ràng hai lớp này, nhưng có thể vẽ một đường cong để phân tách:
Như đã thảo luận trong mô-đun hồi quy tuyến tính, mô hình tuyến tính có một đặc điểm là $x_1$ được mô tả bằng phương trình tuyến tính:
Các tính năng bổ sung được xử lý bằng cách thêm các thuật ngữ \(w_2x_2\), \(w_3x_3\), v.v.
Đường dẫn xuống theo độ dốc tìm trọng số $w_1$ (hoặc trọng số\(w_1\), \(w_2\), \(w_3\), trong trường hợp có các tính năng bổ sung) giúp giảm thiểu tổn thất của mô hình. Tuy nhiên, các điểm dữ liệu hiển thị không thể được phân tách bằng một đường. Tôi có thể làm gì?
Bạn có thể giữ cả phương trình tuyến tính và cho phép phi tuyến tính bằng cách xác định một thuật ngữ mới, \(x_2\), chỉ là \(x_1\) bình phương:
Tính năng tổng hợp này, được gọi là phép biến đổi đa thức, được xử lý như mọi tính năng khác. Công thức tuyến tính trước đó sẽ trở thành:
Bạn vẫn có thể coi đây là một bài toán bội hồi tuyến tính và các trọng số được xác định thông qua phương pháp hạ gradient như bình thường, mặc dù chứa một số hạng bình phương ẩn, phép biến đổi đa thức. Khi không thay đổi cách mô hình tuyến tính huấn luyện, việc thêm một phép biến đổi đa thức cho phép mô hình tách các điểm dữ liệu bằng cách sử dụng một đường cong có dạng $y = b + w_1x + w_2x^2$.
Thông thường, đặc điểm số học quan tâm được nhân với chính nó, tức là được nâng lên một số luỹ thừa. Đôi khi, người thực hành học máy có thể đưa ra dự đoán có căn cứ về hệ số mũ thích hợp. Ví dụ: nhiều mối quan hệ trong thế giới thực liên quan đến các thuật ngữ bình phương, bao gồm cả gia tốc do trọng lực, sự suy giảm của ánh sáng hoặc âm thanh theo khoảng cách và năng lượng tiềm năng đàn hồi.
Nếu biến đổi một đặc điểm theo cách thay đổi tỷ lệ của đặc điểm đó, bạn cũng nên cân nhắc thử nghiệm việc chuẩn hoá đặc điểm đó. Việc chuẩn hoá sau khi biến đổi có thể giúp mô hình hoạt động hiệu quả hơn. Để biết thêm thông tin, hãy xem phần Dữ liệu số: Biến đổi chuẩn hoá.
Một khái niệm liên quan trong dữ liệu dạng danh mục là giao nhau của các tính năng, thường tổng hợp hai tính năng khác nhau.