Régularisation L1
Explorez les options ci-dessous.
Imaginons un modèle linéaire avec 100 caractéristiques d'entrée:
10 d'entre elles sont très informatives.
90 ne sont pas informatives.
Supposons que les valeurs de toutes les caractéristiques soient comprises entre -1 et 1.
Parmi les affirmations suivantes, lesquelles sont vraies ?
Grâce à la régularisation L1, un grand nombre de pondérations non informatives
seront proches de (mais pas exactement égales) à 0,0.
En général, la régularisation L1 d'un lambda suffisant a tendance
à encourager les caractéristiques non informatives à obtenir des pondérations exactement égales à 0,0.
Contrairement à la régularisation L2, la régularisation L1 "pousse" tout aussi fermement vers 0,0, quelle que soit l'écart entre la pondération et 0,0.
Suite à une régularisation L1, la plupart des pondérations non informatives
seront exactement égales à 0,0.
Une régularisation L1 avec un lambda suffisant a tendance à faire passer
les pondérations non informatives exactement à 0,0. Ainsi, ces caractéristiques non informatives quittent le modèle.
Grâce à la régularisation L1, des caractéristiques informatives peuvent obtenir
une pondération exactement égale à 0,0.
Attention : la régularisation L1 peut entraîner des pondérations exactement égales à zéro pour les types de caractéristiques suivants :
Caractéristiques faiblement informatives
Caractéristiques fortement informatives à différentes échelles
Caractéristiques informatives fortement corrélées à d'autres caractéristiques également informatives
Régularisation L1 ou L2
Explorez les options ci-dessous.
Imaginez un modèle linéaire avec 100 caractéristiques d'entrée, dont toutes les valeurs sont comprises entre -1 et 1:
10 d'entre elles sont très informatives.
90 ne sont pas informatives.
Quel type de régularisation produira le plus petit modèle ?
Régularisation L2
La régularisation L2 réduit rarement le nombre de caractéristiques.
En d'autres termes, la régularisation L2 réduit rarement la
taille du modèle.
Régularisation L1
La régularisation L1 a tendance à réduire le nombre de
caractéristiques. En d'autres termes, la régularisation L1 réduit souvent la taille du modèle.