Régularisation à des fins de parcimonie: testez vos connaissances

Régularisation L1

Explorez les options ci-dessous.

Imaginons un modèle linéaire avec 100 caractéristiques d'entrée:
  • 10 d'entre elles sont très informatives.
  • 90 ne sont pas informatives.
  • Supposons que les valeurs de toutes les caractéristiques soient comprises entre -1 et 1. Parmi les affirmations suivantes, lesquelles sont vraies ?
    Grâce à la régularisation L1, un grand nombre de pondérations non informatives seront proches de (mais pas exactement égales) à 0,0.
    En général, la régularisation L1 d'un lambda suffisant a tendance à encourager les caractéristiques non informatives à obtenir des pondérations exactement égales à 0,0. Contrairement à la régularisation L2, la régularisation L1 "pousse" tout aussi fermement vers 0,0, quelle que soit l'écart entre la pondération et 0,0.
    Suite à une régularisation L1, la plupart des pondérations non informatives seront exactement égales à 0,0.
    Une régularisation L1 avec un lambda suffisant a tendance à faire passer les pondérations non informatives exactement à 0,0. Ainsi, ces caractéristiques non informatives quittent le modèle.
    Grâce à la régularisation L1, des caractéristiques informatives peuvent obtenir une pondération exactement égale à 0,0.
    Attention : la régularisation L1 peut entraîner des pondérations exactement égales à zéro pour les types de caractéristiques suivants :
  • Caractéristiques faiblement informatives
  • Caractéristiques fortement informatives à différentes échelles
  • Caractéristiques informatives fortement corrélées à d'autres caractéristiques également informatives
  • Régularisation L1 ou L2

    Explorez les options ci-dessous.

    Imaginez un modèle linéaire avec 100 caractéristiques d'entrée, dont toutes les valeurs sont comprises entre -1 et 1:
  • 10 d'entre elles sont très informatives.
  • 90 ne sont pas informatives.
  • Quel type de régularisation produira le plus petit modèle ?
    Régularisation L2
    La régularisation L2 réduit rarement le nombre de caractéristiques. En d'autres termes, la régularisation L2 réduit rarement la taille du modèle.
    Régularisation L1
    La régularisation L1 a tendance à réduire le nombre de caractéristiques. En d'autres termes, la régularisation L1 réduit souvent la taille du modèle.