Dopo aver esaminato i dati tramite tecniche statistiche e di visualizzazione, devi trasformarli in modo che il tuo modello possa essere addestrato in modo più efficace. Lo scopo della normalizzazione è trasformare le funzionalità in modo che siano su una scala simile. Ad esempio, considera le seguenti due funzionalità:
- La caratteristica
Xcomprende l'intervallo da 154 a 24.917.482. - La funzionalità
Yva da 5 a 22.
Queste due caratteristiche coprono intervalli molto diversi. La normalizzazione potrebbe manipolare
X e Y in modo che coprano un intervallo simile, ad esempio da 0 a 1.
La normalizzazione offre i seguenti vantaggi:
- Consente ai modelli di convergere più rapidamente durante l'addestramento. Quando caratteristiche diverse hanno intervalli diversi, la discesa del gradiente può "rimbalzare" e rallentare la convergenza. Detto questo, gli ottimizzatori più avanzati come Adagrad e Adam proteggono da questo problema modificando il tasso di apprendimento effettivo nel tempo.
- Aiuta i modelli a dedurre previsioni migliori. Quando caratteristiche diverse hanno intervalli diversi, il modello risultante potrebbe fare previsioni meno utili.
- Aiuta a evitare la "trappola dei valori NaN" quando i valori degli elementi sono molto elevati.
NaN è l'abbreviazione di
non un numero. Quando un valore in un modello supera il limite di precisione a virgola mobile, il sistema imposta il valore su
NaNanziché su un numero. Quando un numero nel modello diventa NaN, anche gli altri numeri nel modello diventano NaN. - Aiuta il modello a apprendere i pesi appropriati per ogni caratteristica. Senza la scalabilità delle caratteristiche, il modello presta troppa attenzione alle caratteristiche con intervalli ampi e non abbastanza alle caratteristiche con intervalli ristretti.
Consigliamo di normalizzare le caratteristiche numeriche che coprono intervalli distintamente diversi (ad esempio età e reddito).
Consigliamo inoltre di normalizzare una singola caratteristica numerica che copre un ampio intervallo, come city population.
Considera le seguenti due funzionalità:
- Il valore più basso dell'attributo
Aè -0,5 e il valore più alto è +0,5. - Il valore più basso della caratteristica
Bè -5,0, mentre il massimo è +5,0.
La funzionalità A e la funzionalità B hanno intervalli relativamente stretti. Tuttavia, l'intervallo della funzionalità B è 10 volte più ampio di quello della funzionalità A. Pertanto:
- All'inizio dell'addestramento, il modello presuppone che la caratteristica
Bsia dieci volte più "importante" della caratteristicaA. - L'addestramento richiederà più tempo del previsto.
- Il modello risultante potrebbe non essere ottimale.
I danni complessivi dovuti alla mancata normalizzazione saranno relativamente ridotti. Tuttavia, consigliamo comunque di normalizzare la funzionalità A e la funzionalità B alla stessa scala, ad esempio da -1,0 a +1,0.
Consideriamo ora due caratteristiche con una maggiore disparità di intervalli:
- Il valore più basso della funzionalità
Cè -1 e il valore più alto è +1. - Il valore più basso della caratteristica
Dè +5000, mentre il massimo è +1.000.000.000.
Se non normalizzi l'attributo C e l'attributo D, il tuo modello sarà probabilmente suboptimale. Inoltre, l'addestramento impiegherà molto più tempo per convergere o potrebbe non convergere del tutto.
Questa sezione illustra tre metodi di normalizzazione molto utilizzati:
- scalatura lineare
- Scalatura del punteggio z
- scalatura dei log
Questa sezione tratta inoltre del taglio. Sebbene non sia una tecnica di normalizzazione vera e propria, il clipping consente di domare le caratteristiche numeriche indisciplinate in intervalli che producono modelli migliori.
Scala lineare
La scalabilità lineare (più comunemente abbreviata in scalabilità) prevede la conversione dei valori in virgola mobile del loro intervallo naturale in un intervallo standard, di solito da 0 a 1 o da -1 a +1.
La scalabilità lineare è una buona scelta se si verificano tutte le seguenti condizioni:
- I limiti inferiori e superiori dei dati non cambiano molto nel tempo.
- L'elemento contiene pochi o nessun valore anomalo e questi valori non sono estremi.
- La caratteristica è distribuita approssimativamente uniformemente nel suo intervallo. In altre parole, un istogramma mostrerebbe barre approssimativamente uniformi per la maggior parte dei valori.
Supponiamo che la persona age sia una funzionalità. La scalatura lineare è una buona tecnica di normalizzazione per age perché:
- I limiti inferiore e superiore approssimati sono compresi tra 0 e 100.
agecontiene una percentuale relativamente piccola di outlier. Solo circa lo 0,3% della popolazione ha più di 100 anni.- Sebbene alcune età siano rappresentate meglio di altre, un insieme di dati di grandi dimensioni dovrebbe contenere esempi sufficienti di tutte le età.
Allenamento: verifica le tue conoscenze
Supponiamo che il tuo modello abbia una caratteristica denominatanet_worth che include il patrimonio
di persone diverse. La scala lineare sarebbe una buona tecnica di normalizzazione per net_worth? Qual è il motivo?
Scalatura del punteggio z
Un punteggio Z è il numero di deviazioni standard di un valore rispetto alla media. Ad esempio, un valore che è 2 deviazioni standard maggiori della media ha un valore Z pari a +2,0. Un valore inferiore di 1,5 deviazioni standard rispetto alla media ha un valore Z pari a -1,5.
Rappresentare una caratteristica con la scalabilità del punteggio z significa memorizzare il suo punteggio z nel vettore di caratteristiche. Ad esempio, la figura seguente mostra due istogrammi:
- A sinistra, una distribuzione normale classica.
- A destra, la stessa distribuzione normalizzata mediante la scalatura del punteggio Z.
La scalatura del punteggio Z è una buona scelta anche per dati come quelli mostrati nella figura seguente, che hanno solo una distribuzione vagamente normale.
Il valore z è una buona scelta quando i dati seguono una distribuzione normale o una distribuzione simile a una normale.
Tieni presente che alcune distribuzioni potrebbero essere normali nella maggior parte del loro
intervallo, ma contenere comunque valori anomali estremi. Ad esempio, quasi tutti i punti di una caratteristica net_worth potrebbero rientrare perfettamente in tre deviazioni standard, ma alcuni esempi di questa caratteristica potrebbero essere centinaia di deviazioni standard lontano dalla media. In queste situazioni, per gestire questa situazione, puoi combinare la scalabilità del punteggio Z con un'altra forma di normalizzazione (di solito il ritaglio).
Esercizio: verifica la tua comprensione
Supponiamo che il modello venga addestrato su una caratteristica denominataheight che contiene l'altezza
degli adulti di dieci milioni di donne. La scalatura del punteggio Z sarebbe una buona tecnica di normalizzazione per height? Qual è il motivo?
Scala logaritmica
La scala logaritmica calcola il logaritmo del valore non elaborato. In teoria, il logaritmo può avere qualsiasi base; in pratica, la scala logaritmica di solito calcola il logaritmo naturale (ln).
La scalatura logaritmica è utile quando i dati sono conformi a una distribuzione di legge di potenza. A caso, una distribuzione legge dell'energia si presenta così:
- I valori bassi di
Xhanno valori molto elevati diY. - All'aumentare dei valori di
X, i valori diYdiminuiscono rapidamente. Di conseguenza, valori elevati diXhanno valori molto bassi diY.
Le valutazioni dei film sono un buon esempio di distribuzione secondo la legge di potenza. Nella seguente figura, nota quanto segue:
- Alcuni film hanno ricevuto molte valutazioni degli utenti. I valori bassi di
Xhanno valori elevati diY. - La maggior parte dei film ha pochissime valutazioni degli utenti. I valori elevati di
Xhanno valori bassi (Y).
La scalabilità dei log modifica la distribuzione, aiutandoti ad addestrare un modello che fa previsioni migliori.
Come secondo esempio, le vendite di libri sono conformi a una distribuzione di legge di potenza perché:
- La maggior parte dei libri pubblicati ne vende un numero esiguo, forse una o duecento.
- Alcuni libri vendono un numero moderato di copie, in migliaia.
- Solo alcuni bestseller vendono più di un milione di copie.
Supponiamo che tu stia addestrando un modello lineare per trovare la relazione tra, ad esempio, le copertine dei libri e le vendite dei libri. Un modello lineare addestrato su valori non elaborati dovrebbe trovare qualcosa sulle copertine dei libri che vendono un milione di copie che sia 10.000 volte più efficace delle copertine dei libri che ne vendono solo 100. Tuttavia, la scalabilità dei dati di log di tutte le cifre di vendita rende l'attività molto più fattibile. Ad esempio, il logaritmo di 100 è:
~4.6 = ln(100)
mentre il logaritmo di 1.000.000 è:
~13.8 = ln(1,000,000)
Pertanto, il logaritmo di 1.000.000 è solo circa tre volte più grande del logaritmo di 100. Probabilmente potresti immaginare che la copertina di un best seller sia circa tre volte più efficace (in qualche modo) di quella di un libro che vende poco.
Sutura
Il taglio è una tecnica per ridurre al minimo l'influenza di outlier estremi. In breve, il taglio in genere limita (riduce) il valore degli outlier a un valore massimo specifico. Il clipping è un'idea strana, ma può essere molto efficace.
Ad esempio, immagina un set di dati contenente una funzionalità denominata roomsPerPerson,
che rappresenta il numero di camere (le stanze totali divise per
il numero degli occupanti) per le varie case. Il seguente grafico mostra che oltre il 99% dei valori delle funzionalità è conforme a una distribuzione normale (approssimativamente una media di 1,8 e una deviazione standard di 0,7). Tuttavia, la funzionalità contiene alcuni valori anomali, alcuni estremi:
Come puoi ridurre al minimo l'influenza di questi valori anomali estremi? Beh, l'istogramma non è una distribuzione uniforme, una distribuzione normale o una distribuzione di leggi di potenza. Cosa succede se semplicemente imposti un limite o taglia il valore massimo di
roomsPerPerson a un valore arbitrario, ad esempio 4,0?
Il taglio del valore dell'attributo a 4,0 non significa che il modello ignori tutti i valori superiori a 4,0. Piuttosto, tutti i valori superiori a 4,0 ora diventano 4,0. Questo spiega la strana curva a 4,0. Nonostante questo, l'insieme di funzionalità scalate è ora più utile dei dati originali.
Aspetta un attimo. È davvero possibile ridurre ogni valore outlier a una soglia superiore arbitraria? Sì, durante l'addestramento di un modello.
Puoi anche tagliare i valori dopo aver applicato altre forme di normalizzazione. Ad esempio, supponiamo di utilizzare la scalatura dello z-score, ma alcuni valori anomali hanno valori assoluti molto superiori a 3. In questo caso, puoi:
- Taglia i valori Z maggiori di 3 in modo che diventino esattamente 3.
- Taglia i valori Z inferiori a -3 in modo che diventino esattamente -3.
Il clipping impedisce al modello di eseguire un overindexing su dati non importanti. Tuttavia, alcuni valori anomali sono in realtà importanti, quindi ritaglia i valori con attenzione.
Riepilogo delle tecniche di normalizzazione
| Tecnica di normalizzazione | Formula | Quando utilizzarle |
|---|---|---|
| Scala lineare | $$ x' = \frac{x - x_{min}}{x_{max} - x_{min}} $$ | Quando la funzionalità è distribuita in modo uniforme su un intervallo fisso. |
| Scalabilità punteggio z | $$ x' = \frac{x - μ}{σ}$$ | Quando la distribuzione delle funzionalità non contiene valori anomali estremi. |
| Scala logaritmica | $$ x' = log(x)$$ | Quando la funzionalità è conforme alla legge di potenza. |
| Clip | Se $x > max$, imposta $x' = max$ Se $x < min$, imposta $x' = min$ |
Quando la caratteristica contiene anomalie estreme. |
Esercizio: verifica le tue conoscenze
Supponiamo che tu stia sviluppando un modello che preveda la produttività di un data center in base alla temperatura misurata al suo interno.
Quasi tutti i valori temperature nel set di dati rientrano
tra 15 e 30 °C, con le seguenti eccezioni:
- Una o due volte all'anno, in giornate estremamente calde, vengono registrati alcuni valori tra 31 e 45 a
temperature. - Ogni millesimo punto in
temperatureè impostato su 1000 anziché sulla temperatura effettiva.
Quale sarebbe una tecnica di normalizzazione ragionevole per
temperature?
Il valore 1000 è un errore e deve essere eliminato anziché troncato.
I valori compresi tra 31 e 45 sono punti dati legittimi. Il ritaglio sarebbe probabilmente una buona idea per questi valori, supponendo che il set di dati non contenga abbastanza esempi in questo intervallo di temperature per addestrare il modello a fare buone previsioni. Tuttavia, durante l'inferenza, tieni presente che il modello troncato effettuerebbe la stessa previsione per una temperatura di 45 °C e una di 35 °C.