Analisi della regolarizzazione L1
Questo esercizio contiene un set di dati di addestramento piccolo e leggermente rumoroso. In questo tipo di contesto, l'overfitting è una preoccupazione reale. La regolarizzazione potrebbe essere d'aiuto, ma quale forma di regolarizzazione?
Questo esercizio consiste in cinque attività correlate. Per semplificare i confronti tra le cinque attività, esegui ogni attività in una scheda separata. Nota che gli spessori delle linee che collegano FEATURES e OUTPUT rappresentano i relativi pesi di ciascuna caratteristica.
Attività | Tipo di regolarizzazione | Tasso di regolarizzazione (lambda) |
---|---|---|
1 | L2 | 0,1 |
2 | L2 | 0.3 |
3 | L1 | 0,1 |
4 | L1 | 0.3 |
5 | L1 | esperimento |
Domande:
- In che modo il passaggio dalla regolarizzazione L2 a L1 influenza il delta tra perdita del test e perdita di addestramento?
- In che modo il passaggio dalla regolarizzazione L2 a L1 influenza i pesi appresi?
- In che modo l'aumento del tasso di regolarizzazione L1 (lambda) influenza i pesi appresi?
Le risposte vengono visualizzate appena sotto l'allenamento.