Una versione nuova e migliorata di Machine Learning Crash Course sarà disponibile ad agosto 2024. Torna presto a trovarci.
Questo modulo è incentrato sui requisiti speciali per i modelli appresi sui vettori di caratteristiche che hanno molte dimensioni.
Regolarizzazione per sparsità
Torniamo alle croci delle caratteristiche
- Avvertimento: gli incroci di caratteristiche sparse possono aumentare notevolmente lo spazio dei feature.
- Possibili problemi:
- Le dimensioni del modello (RAM) potrebbero diventare enormi
- Coefficienti di "rumore" (causa l'overfitting)
L1 Regolarizzazione
- Vuole penalizzare la norma L0 di pesi
- Ottimizzazione non convessa; difficile NP
L1 Regolarizzazione
- Vuole penalizzare la norma L0 di pesi
- Ottimizzazione non convessa; difficile NP
- Rilassati con la regolarizzazione L1:
- Penalizza la somma degli abs(ponderi)
- Problema di convesso
- Incoraggia la sparsità a differenza di L2