O termo dimensão é sinônimo do número de elementos em um vetor de recursos. Alguns recursos categóricos têm baixa dimensionalidade. Exemplo:
| Nome do atributo | Nº de categorias | Exemplos de categorias |
|---|---|---|
| snowed_today | 2 | Verdadeiro, Falso |
| skill_level | 3 | Iniciante, profissional, especialista |
| season | 4 | Inverno, primavera, verão, outono |
| day_of_week | 7 | Segunda-feira, terça-feira, quarta-feira |
| planeta | 8 | Mercúrio, Vênus, Terra |
Quando um recurso categórico tem um número baixo de categorias possíveis, ele pode ser codificado como um vocabulário. Com uma codificação de vocabulário, o modelo trata cada valor categórico possível como um recurso separado. Durante o treinamento, o modelo aprende pesos diferentes para cada categoria.
Por exemplo, suponha que você esteja criando um modelo para prever o preço de um carro com base,
em parte, em um recurso categórico chamado car_color.
Talvez os carros vermelhos valham mais do que os verdes.
Como os fabricantes oferecem um número limitado de cores externas, car_color é
um atributo categórico de baixa dimensão.
A ilustração a seguir sugere um vocabulário (valores possíveis) para
car_color:
Exercício: testar seu conhecimento
"Red" não é um número de ponto flutuante. Você
precisa converter strings como "Red" em números de ponto flutuante.
Números de índice
Os modelos de machine learning só podem manipular números de ponto flutuante. Portanto, é necessário converter cada string em um número de índice exclusivo, como na ilustração abaixo:
Depois de converter strings em números de índice exclusivos, você vai precisar processar os dados mais para representar maneiras que ajudem o modelo a aprender relações significativas entre os valores. Se os dados de atributos categóricos forem deixados como números inteiros indexados e carregados em um modelo, o modelo vai tratar os valores indexados como números de ponto flutuante contínuos. O modelo consideraria "roxo" seis vezes mais provável do que "laranja".
Codificação one-hot
A próxima etapa na criação de um vocabulário é converter cada número de índice na codificação one-hot. Em uma codificação one-hot:
- Cada categoria é representada por um vetor (matriz) de N elementos, em que N
é o número de categorias. Por exemplo, se
car_colortiver oito categorias possíveis, o vetor one-hot que representa terá oito elementos. - Exatamente um dos elementos em um vetor one-hot tem o valor 1,0. Todos os elementos restantes têm o valor 0,0.
Por exemplo, a tabela a seguir mostra a codificação one-hot para cada um em
car_color:
| Recurso | Vermelho | Laranja | Azul | Amarelo | Verde | Preto | Roxo | Marrom |
|---|---|---|---|---|---|---|---|---|
| "Vermelho" | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| "Laranja" | 0 | 1 | 0 | 0 | 0 | 0 | 0 | 0 |
| "Azul" | 0 | 0 | 1 | 0 | 0 | 0 | 0 | 0 |
| "Yellow" | 0 | 0 | 0 | 1 | 0 | 0 | 0 | 0 |
| "Verde" | 0 | 0 | 0 | 0 | 1 | 0 | 0 | 0 |
| "Preto" | 0 | 0 | 0 | 0 | 0 | 1 | 0 | 0 |
| "Purple" | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 |
| "Brown" | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 |
É o vetor one-hot, e não a string ou o número de índice, que é transmitido ao vetor de recursos. O modelo aprende um peso separado para cada elemento do vetor de recursos.
A ilustração a seguir sugere as várias transformações na representação do vocabulário:
Representação esparsa
Um elemento com valores predominantemente nulos (ou vazios) é chamado de
elemento vazio. Muitos
atributos categóricos, como car_color, tendem a ser esparsos.
Representação esparsa
significa armazenar a posição de 1,0
em um vetor esparsa. Por exemplo, o vetor one-hot para "Blue" é:
[0, 0, 1, 0, 0, 0, 0, 0]
Como 1 está na posição 2 (ao iniciar a contagem em 0), a
representação esparsa para o vetor one-hot anterior é:
2
A representação esparsa consome muito menos memória do que o vetor de oito elementos. É importante que o modelo seja treinado no vetor de um único valor, não na representação esparsa.
Valores atípicos em dados categóricos
Assim como os dados categóricos, os dados numéricos também contêm outliers. Suponha
que car_color contenha não apenas as cores populares, mas também algumas cores
exóticas raramente usadas, como "Mauve" ou "Avocado".
Em vez de atribuir uma categoria separada a cada uma dessas cores fora do padrão, você pode
agrupá-las em uma única categoria chamada fora do vocabulário
(OOV). Em outras palavras, todas as cores atípicas são agrupadas em um único bucket de atípicos. O sistema aprende um único peso para esse bucket de valor discrepante.
Codificação de recursos categóricos de alta dimensão
Alguns recursos categóricos têm um grande número de dimensões, como os da tabela a seguir:
| Nome do atributo | Nº de categorias | Exemplos de categorias |
|---|---|---|
| words_in_english | ~500.000 | "happy", "walking" |
| US_postal_codes | ~42.000 | "02114", "90301" |
| last_names_in_Germany | ~850.000 | "Schmidt", "Schneider" |
Quando o número de categorias é alto, a codificação one-hot geralmente é uma escolha ruim. As incorporações, detalhadas em um módulo de incorporação separado, geralmente são uma opção muito melhor. As incorporações reduzem substancialmente o número de dimensões, o que beneficia os modelos de duas maneiras importantes:
- O modelo normalmente é treinado mais rápido.
- O modelo criado normalmente infere previsões mais rapidamente. Ou seja, o modelo tem latência mais baixa.
O hash (também chamado de truque de hash) é uma maneira menos comum de reduzir o número de dimensões.