Puedes resolver los problemas principales de los datos de entrada dispersos mediante la asignación de tus datos de alta dimensión en un espacio de dimensiones más bajas.
Como viste en los ejercicios de las películas antes, incluso un espacio pequeño de varias dimensiones proporciona la libertad de agrupar elementos semánticamente similares y mantenerlos separados. La posición (distancia y dirección) en el espacio vectorial pueden codificar la semántica en una buena incorporación. Por ejemplo, las siguientes visualizaciones de incorporaciones reales muestran relaciones geométricas que capturan relaciones semánticas como la relación entre un país y su capital:
Figura 4: Las incorporaciones pueden producir analogías llamativas.
Este tipo de espacios significativos le da a tu sistema de aprendizaje automático la oportunidad de detectar patrones que pueden ayudar con la tarea de aprendizaje.
Reducir la red
Si bien queremos contar con suficientes dimensiones para codificar relaciones semánticas enriquecidas, también queremos un espacio de incorporación que sea lo suficientemente pequeño como para permitirnos entrenar nuestro sistema más rápido. Una incorporación útil puede estar en el orden de cientos de dimensiones. Es probable que esto sea varios órdenes de magnitud más pequeños que el tamaño de tu vocabulario para una tarea de lenguaje natural.