Regularización para lograr dispersión: Comprueba tu comprensión

Regularización L1

Explora las opciones que aparecen a continuación.

Imagina un modelo lineal con 100 atributos de entrada:
  • 10 son muy informativos.
  • 90 no son informativos.
  • Supón que todos los atributos tienen valores entre -1 y 1. ¿Cuáles de las siguientes afirmaciones son verdaderas?
    La regularización L1 hará que muchos de los pesos no informativos sean casi (pero no exactamente) 0.0.
    En general, la regularización L1 con suficientes lambdas tiende a fomentar los atributos no informativos a pesos exactamente de 0.0. A diferencia de la regularización L2, la regularización L1 "presiona" con la misma fuerza hacia 0.0, sin importar qué tan lejos esté el peso de 0.0.
    La regularización L1 hará que la mayoría de los pesos no informativos sean exactamente 0.0.
    La regularización L1 de suficientes lambdas tiende a hacer que los pesos no informativos sean exactamente 0.0. Al hacerlo, esos atributos no informativos saldrán del modelo.
    La regularización L1 puede causar que los atributos informativos tengan un peso de exactamente 0.0.
    Ten cuidado, la regularización L1 puede causar que a los siguientes tipos de atributos se les otorguen pesos exactamente 0:
  • Atributos informativos débiles
  • Atributos informativos fuertes en diferentes escalas.
  • Atributos informativos fuertemente correlacionados con otros atributos informativos similares
  • Comparación entre la regularización L1 y la L1

    Explora las opciones que aparecen a continuación.

    Imagina un modelo lineal con 100 atributos de entrada, todos con valores entre -1 y 1:
  • 10 son muy informativos.
  • 90 no son informativos.
  • ¿Qué tipo de regularización producirá el modelo más pequeño?
    Regularización L2
    La regularización L2 rara vez reduce la cantidad de atributos. En otras palabras, la regularización L2 rara vez reduce el tamaño del modelo.
    Regularización L1
    La regularización L1 tiende a reducir la cantidad de atributos. En otras palabras, la regularización L1 a menudo reduce el tamaño del modelo.