Dados numéricos: transformações polinomiais

Às vezes, quando o profissional de ML tem conhecimento de domínio que sugere que uma variável está relacionada ao quadrado, ao cubo ou a outra potência de outra é útil criar uma recurso sintético de um dos atributos numéricos atuais.

Considere a seguinte propagação de pontos de dados, em que os círculos rosa representam uma classe ou categoria (por exemplo, uma espécie de árvore) e triângulos verdes outra classe (ou espécie de árvore):

Figura 17. Disposição y=x^2 de pontos de dados, com triângulos abaixo do
            uma curva e círculos acima dela.
Figura 17. Duas classes que não podem ser separadas por uma linha.

Não é possível desenhar uma reta que separa os dois mas é possível desenhar uma curva que faça isso:

Figura 18. Mesma imagem da figura 17, só desta vez com y=x^2
            sobrepostas para criar um limite claro entre os triângulos e
            círculos.
Figura 18. Separando as classes com y = x2.

Conforme discutido nas Módulo de regressão linear, um modelo linear com um atributo, x1, é descrito pela equação linear:

y=b+w1x1

Os recursos adicionais são processados com a adição dos termos w2x2, w3x3etc.

O gradiente descendente encontra a peso w1 (ou pesos) w1, w2, w3, no caso de recursos adicionais) que minimiza a perda do modelo. No entanto, os pontos de dados mostrados não podem ser separados por uma linha. O que posso fazer?

É possível manter a equação linear e permitir a não linearidade ao definir um novo termo, x2, que é simplesmente x1 ao quadrado:

x2=x12

Esse atributo sintético, chamado de transformação polinomial, é tratado como qualquer outros recursos. A fórmula linear anterior se torna:

y=b+w1x1+w2x2

Isso ainda pode ser tratado como um regressão linear problema, e os pesos determinados pelo gradiente descendente, como de costume, apesar contendo um termo quadrático oculto, a transformação polinomial. Sem alterar como o modelo linear treina, a adição de uma transformação polinomial permite que para separar os pontos de dados usando uma curva da forma y=b+w1x+w2x2.

Normalmente, o atributo numérico de interesse é multiplicado por si mesmo, ou seja, elevado a uma potência. Às vezes, um profissional de ML pode fazer um palpite sobre o expoente apropriado. Por exemplo, muitas relações na física mundo estão relacionados a termos quadráticos, incluindo aceleração da gravidade, as atenuação da luz ou do som à distância e energia potencial elástica.

Um conceito relacionado dados categóricos são os cruzamento de atributos, que mais geralmente sintetiza dois recursos diferentes.