Una incorporación es un espacio de dimensiones relativamente bajas al que se pueden trasladar vectores de dimensiones altas. Las incorporaciones facilitan el aprendizaje automático en entradas grandes, como vectores dispersos que representan palabras. Lo ideal es que una incorporación capture parte de la semántica de la entrada mediante la colocación de entradas semánticamente similares cerca en el espacio de incorporaciones. Una incorporación se puede aprender y reutilizar en todos los modelos.
Incorporaciones
Motivación del filtrado colaborativo
- Entrada: 1,000,000 películas que 500,000 usuarios eligieron mirar
- Tarea: recomendar películas a los usuarios
Para resolver este problema, se necesita un método que determine qué películas son similares entre sí.
Organización de las películas por similitud (1d)
Organización de las películas por similitud (2d)
Incorporación en dos dimensiones
Incorporación en dos dimensiones
Incorporaciones d-dimensionales
- Se supone que el interés del usuario en las películas se puede explicar a grandes rasgos mediante d aspectos.
- Cada película se convierte en un punto d-dimensional en el que el valor de la dimensión d representa cuánto se ajusta la película a ese aspecto.
- Las incorporaciones se pueden aprender de los datos
Aprende incorporaciones en una red profunda
- No se necesita un proceso de entrenamiento independiente. La capa de incorporación es solo una capa oculta con una unidad por dimensión.
- La información supervisada (p. ej., los usuarios que miraron las mismas dos películas) adapta las incorporaciones aprendidas para la tarea deseada.
- De manera intuitiva, las unidades ocultas descubren cómo organizar los elementos en el espacio d-dimensional de una manera de optimizar mejor el objetivo final.
Representación de entrada
- Cada ejemplo (una fila de esta matriz) es un vector disperso de atributos (películas) que miró el usuario.
- Representación densa de este ejemplo como: (0, 1, 0, 1, 0, 0, 0, 1)
No es eficiente en términos de espacio y tiempo.
Representación de entrada
- Crea un diccionario que asigne cada atributo a un entero de 0, ..., # películas - 1.
- Representa de manera eficiente el vector disperso como las películas que miró el usuario. Este vector se puede representar de la siguiente manera:
Una capa de incorporación en una red profunda
Problema de regresión para predecir precios de venta de casas:
Una capa de incorporación en una red profunda
Problema de regresión para predecir precios de venta de casas:
Una capa de incorporación en una red profunda
Problema de regresión para predecir precios de venta de casas:
Una capa de incorporación en una red profunda
Problema de regresión para predecir precios de venta de casas:
Una capa de incorporación en una red profunda
Problema de regresión para predecir precios de venta de casas:
Una capa de incorporación en una red profunda
Problema de regresión para predecir precios de venta de casas:
Una capa de incorporación en una red profunda
Clasificación de clases múltiples para predecir un dígito escrito a mano:
Una capa de incorporación en una red profunda
Clasificación de clases múltiples para predecir un dígito escrito a mano:
Una capa de incorporación en una red profunda
Clasificación de clases múltiples para predecir un dígito escrito a mano:
Una capa de incorporación en una red profunda
Clasificación de clases múltiples para predecir un dígito escrito a mano:
Una capa de incorporación en una red profunda
Clasificación de clases múltiples para predecir un dígito escrito a mano:
Una capa de incorporación en una red profunda
Clasificación de clases múltiples para predecir un dígito escrito a mano:
Una capa de incorporación en una red profunda
Clasificación de clases múltiples para predecir un dígito escrito a mano:
Una capa de incorporación en una red profunda
Filtrado colaborativo para predecir películas recomendadas:
Una capa de incorporación en una red profunda
Filtrado colaborativo para predecir películas recomendadas:
Una capa de incorporación en una red profunda
Filtrado colaborativo para predecir películas recomendadas:
Una capa de incorporación en una red profunda
Filtrado colaborativo para predecir películas recomendadas:
Una capa de incorporación en una red profunda
Filtrado colaborativo para predecir películas recomendadas:
Una capa de incorporación en una red profunda
Filtrado colaborativo para predecir películas recomendadas:
Una capa de incorporación en una red profunda
Filtrado colaborativo para predecir películas recomendadas:
Correspondencia con la vista geométrica
Red profunda
- Cada unidad oculta corresponde a una dimensión (atributo latente).
- Las ponderaciones de las conexiones entre una película y una capa oculta son valores de coordenadas.
Vista geométrica de la incorporación de una sola película
Selección de la atenuación de las incorporaciones
- Las incorporaciones de dimensiones más altas pueden representar con mayor precisión las relaciones entre los valores de entrada
- Sin embargo, una mayor cantidad de dimensiones aumenta las probabilidades de sobreajuste y provoca un entrenamiento más lento.
- Regla general empírica (un buen punto de partida, pero se debe ajustar con los datos de validación): $$ dimensions \approx \sqrt[4]{possible\;values} $$
Incorporaciones como herramienta
- Las incorporaciones asignan elementos (p. ej., películas, texto, etc.) a vectores reales de dimensiones bajas de modo que los elementos similares estén cerca.
- Las incorporaciones también se pueden aplicar a datos densos (p.ej., audio) para crear una métrica de similitud significativa
- La incorporación conjunta de diversos tipos de datos (por ejemplo, texto, imágenes, audio, etc.) define una similitud entre ellos.