Si bien el curso Preparación de datos e ingeniería de atributos para el aprendizaje automático abarca la preparación de datos en general, se analiza la preparación específica para el agrupamiento en clústeres.
En el agrupamiento en clústeres, calculas la similitud entre dos ejemplos mediante la combinación de todos los datos de atributos de esos ejemplos en un valor numérico. La combinación de datos de atributos requiere que los datos tengan la misma escala. En esta sección, se analizan la normalización, la transformación y la creación de cuantiles, y se analiza por qué los cuantiles son la mejor opción predeterminada para transformar cualquier distribución de datos. Tener una opción predeterminada te permite transformar tus datos sin inspeccionar la distribución de los datos.
Normalizar datos
Puedes transformar datos de varios atributos a la misma escala si normalizas los datos. En particular, la normalización es adecuada para procesar la distribución de datos más común, la distribución gaussiana. En comparación con los cuantiles, la normalización requiere muchos menos datos para calcular. Para normalizar los datos, calcula su puntuación z de la siguiente manera:
\[x'=(x-\mu)/\sigma\\ \begin{align*} \text{where:}\quad \mu &= \text{mean}\\ \sigma &= \text{standard deviation}\\ \end{align*} \]
Veamos la similitud entre los ejemplos con y sin normalización. En la figura 1, ves que el rojo parece ser más similar al azul que el amarillo. Sin embargo, las funciones de los ejes x e y no tienen la misma escala. Por lo tanto, la similitud observada podría ser un artefacto de datos sin escalar. Después de la normalización con la puntuación z, todos los atributos tienen la misma escala. El rojo es más similar al amarillo. Por lo tanto, después de normalizar los datos, puedes calcular la similitud de forma más precisa.
En resumen, aplica la normalización cuando se cumpla alguna de las siguientes condiciones:
- Tus datos tienen una distribución gaussiana.
- Tu conjunto de datos no tiene datos suficientes para crear cuantiles.
Usa la transformación Log
A veces, un conjunto de datos cumple con una distribución de ley de energía que agrupa datos en el extremo inferior. En la figura 2, el rojo es más cercano al amarillo que al azul.
Procesar una distribución de ley de potencia mediante una transformación de registro En la Figura 3, la transformación de registro crea una distribución más suave, y el rojo es más cercano al azul que al amarillo.
Usa cuantiles
Las transformaciones de normalización y registro abordan distribuciones de datos específicas. ¿Qué sucede si los datos no cumplen con una distribución gaussiana o de ley? ¿Hay algún enfoque general que se aplique a cualquier distribución de datos?
Intentemos realizar un procesamiento previo de esta distribución.
De manera intuitiva, si los dos ejemplos tienen solo unos pocos ejemplos, entonces estos dos ejemplos son similares, independientemente de sus valores. Por el contrario, si los dos ejemplos tienen muchos ejemplos, los dos ejemplos son menos similares. Por lo tanto, la similitud entre dos ejemplos disminuye a medida que aumenta la cantidad de ejemplos entre ellos.
La normalización de los datos simplemente reproduce la distribución de datos porque la normalización es una transformación lineal. Aplicar una transformación de registro no refleja tu intuición sobre cómo funciona la similitud, como se muestra en la Figura 5 a continuación.
En cambio, divide los datos en intervalos en los que cada intervalo contenga la misma cantidad de ejemplos. Estos límites de intervalos se denominan cuantiles.
Convierte tus datos en cuantiles mediante los siguientes pasos:
- Decide la cantidad de intervalos.
- Define intervalos de modo que cada intervalo tenga la misma cantidad de ejemplos.
- Reemplaza cada ejemplo por el índice del intervalo en el que se encuentra.
- Ajustar los índices al mismo rango que otros datos de atributos mediante el escalamiento de los valores del índice a [0,1].
![Un gráfico que muestra los datos después de la conversión en cuantiles. La línea representa 20 intervalos.]](https://developers.google.cn/static/machine-learning/clustering/images/Quantize.png?hl=es-419)
Después de convertir los datos en cuantiles, la similitud entre dos ejemplos es inversamente proporcional a la cantidad de ejemplos entre esos dos ejemplos. O, matemáticamente, donde "x" es cualquier ejemplo en el conjunto de datos:
- \(sim(A,B) \approx 1 − | \text{prob}[x > A] − \text{prob}[x > B] |\)
- \(sim(A,B) \approx 1 − | \text{quantile}(A) − \text{quantile}(B) |\)
Los cuantiles son la mejor opción predeterminada para transformar datos. Sin embargo, para crear cuantiles que sean indicadores confiables de la distribución de datos subyacente, necesitas muchos datos. Como regla general, para crear \(n\) cuantiles, debes tener al menos \(10n\) ejemplos. Si no tienes datos suficientes, continúa con la normalización.
Comprueba tu comprensión
En las siguientes preguntas, supongamos que tienes datos suficientes para crear cuantiles.
Pregunta uno
- La distribución de datos es gaussiana.
- Tienes estadísticas sobre lo que representan los datos, lo que te indica que los datos no deben transformarse de forma no lineal. Como resultado, evitas los cuantiles y eliges la normalización.
Pregunta dos
Faltan datos
Si tu conjunto de datos tiene ejemplos con valores faltantes para un atributo determinado, pero esos ejemplos no ocurren con frecuencia, puedes quitarlos. Si estos ejemplos ocurren con frecuencia, tenemos la opción de quitar este atributo por completo o de predecir los valores faltantes de otros ejemplos mediante el uso de un modelo de aprendizaje automático. Por ejemplo, puedes inferir datos numéricos faltantes mediante un modelo de regresión entrenado con datos de atributos existentes.