Questa pagina è stata tradotta dall'API Cloud Translation.

Riduzione della perdita: discesa del gradiente

Il diagramma dell'approccio iterativo (Figura 1) conteneva un riquadro verde ondulato dal titolo "Aggiornamenti dei parametri di calcolo". Ora sostituiremo la polvere algoritmica delle fate con qualcosa di più sostanziale.

Supponiamo di avere il tempo e le risorse di calcolo per calcolare la perdita per tutti i possibili valori di $w_1$. Per il tipo di problemi di regressione che abbiamo esaminato, il grafico risultante tra perdita e. $w_1$ sarà sempre convesso. In altre parole, la trama sarà sempre a forma di ciotola, in questo modo:

Rappresentazione grafica di una curva a U in cui l'asse verticale è contrassegnato come "perdita" e l'asse orizzontale è contrassegnato come valore del peso w i.

Figura 2. I problemi di regressione generano perdita convesso nei grafici relativi al peso.

I problemi convessi hanno un solo valore minimo, ovvero un'unica posizione in cui la pendenza è esattamente 0. Questo valore minimo è il punto in cui converge la funzione di perdita.

Calcolare la funzione di perdita per ogni valore immaginabile di $w_1$ sull'intero set di dati non sarebbe un modo efficiente per trovare il punto di convergenza. Esaminiamo un meccanismo migliore, molto popolare nel machine learning, chiamato discesa del gradiente.

La prima fase della discesa del gradiente è scegliere un valore iniziale (un punto di partenza) per $w_1$. Il punto di partenza non è importante; di conseguenza, molti algoritmi si limitano a $w_1$ impostare - su 0 o scelgono un valore casuale. La figura seguente mostra che abbiamo scelto un punto di partenza leggermente maggiore di 0:

Rappresentazione grafica di una curva a U. Un punto a circa metà del lato sinistro della curva è contrassegnato come "Punto di partenza".

Figura 3. Un punto di partenza per la discesa del gradiente.

L'algoritmo di discesa del gradiente calcola quindi il gradiente della curva di perdita nel punto iniziale. Nella Figura 3, il gradiente della perdita è uguale alla derivata (pendenza) della curva e indica quale direzione è "più calda" o "più bassa". Quando sono presenti più ponderazioni, il gradiente è un vettore di derivate parziali rispetto alle ponderazioni.

Fai clic sull'icona Più per scoprire di più sulle derivate parziali e sulle sfumature.

La matematica sul machine learning è affascinante e siamo lieti che tu abbia fatto clic sul link per saperne di più. Tuttavia, tieni presente che TensorFlow gestisce tutti i calcoli del gradiente per te, quindi in realtà non è necessario comprendere il calcolo fornito qui.

Derivati parziali

Una funzione multivariabile è una funzione con più argomenti, ad esempio:

$$f(x,y) = e^{2y}\sin(x)$$

La derivata parziale $f$ rispetto a $x$, indicata come segue:

$$ \partial f \over \partial x $$

è la derivata di $f$ considerato come una funzione di $x$ solo. Per trovare quanto segue:

$$\partial f \over \partial x $$

devi mantenere $y$ costante (quindi $f$ è ora una funzione di una variabile $x$) e prendere la derivata regolare di $f$ rispetto a $x$. Ad esempio, quando $y$ è fissato a 1, la funzione precedente diventa:

$$ f(x) = e^2\sin(x) $$

Questa è solo una funzione di una variabile $x$, la cui derivata è:

$$ e^2\cos(x) $$

In generale, pensando a $y$ come fisso, la derivata parziale di $f$ rispetto a $x$ viene calcolata come segue:

$$\frac{\partial f}{\partial x}(x,y) = e^{2y}\cos(x)$$

Allo stesso modo, se manteniamo $x$ fissato, la derivata parziale di $f$ rispetto a $y$ è:

$$ \frac{\partial f}{\partial y}(x,y) = 2e^{2y}\sin(x) $$

Intuitivamente, una derivata parziale indica di quanto cambia la funzione quando perturbi leggermente una variabile. Nell'esempio precedente:

$$ \frac{\partial f}{\partial x} (0,1) = e^2 \approx 7.4 $$

Quindi, quando inizi da $(0,1)$, mantieni $y$ costantemente e ti muovi $x$ un po', $f$ cambia di circa 7,4 volte la quantità che hai modificato $x$.

Nel machine learning, le derivate parziali sono utilizzate principalmente in combinazione con il gradiente di una funzione.

Gradienti

Il gradiente di una funzione, indicato come segue, è il vettore di derivate parziali rispetto a tutte le variabili indipendenti:

$$ \nabla f $$

Ad esempio se:

$$ f(x,y) = e^{2y}\sin(x) $$

quindi:

$$\nabla f(x,y) = \left(\frac{\partial f}{\partial x}(x,y), \frac{\partial f}{\partial y}(x,y)\right) = (e^{2y}\cos(x), 2e^{2y}\sin(x))$$

Tieni presente quanto segue:

$$\nabla f$$	Punti nella direzione del massimo aumento della funzione.
$$ {-\nabla f} $$	Punti nella direzione della maggiore diminuzione della funzione.

Il numero di dimensioni nel vettore è uguale al numero di variabili nella formula per $f$; in altre parole, il vettore rientra nello spazio del dominio della funzione. Ad esempio, il grafico della seguente funzione $f(x,y)$:

$$ f(x,y) = 4 + (x - 2)^2 + 2y^2 $$

visualizzata in tre dimensioni con $z = f(x,y)$ l'aspetto di una valle con un minimo di $(2,0,4)$:

Il gradiente di $f(x,y)$ è un vettore bidimensionale che ti dice in quale$(x,y)$ direzione muoverti per ottenere il massimo aumento dell'altezza. Pertanto, il valore negativo del gradiente ti sposta nella direzione di diminuzione massima dell'altezza. In altre parole, il negativo del vettore del gradiente punta nella valle.

Nel machine learning, i gradienti vengono utilizzati nella discesa del gradiente. Spesso abbiamo una funzione di perdita per molte variabili che stiamo cercando di minimizzare e cerchiamo di farlo seguendo il negativo del gradiente della funzione.

Tieni presente che un gradiente è un vettore, quindi ha entrambe le seguenti caratteristiche:

un'indicazione
una grandezza

Il gradiente punta sempre nella direzione dell'aumento più ripido della funzione di perdita. L'algoritmo di discesa del gradiente fa un passo nella direzione del gradiente negativo per ridurre la perdita il più rapidamente possibile.

Rappresentazione grafica di una curva a U. Un punto a sinistra della curva è contrassegnato come "Punto iniziale". Una freccia con l'etichetta "gradiente negativo" indica da questo punto a destra.

Figura 4. La discesa del gradiente si basa su gradienti negativi.

Per determinare il punto successivo lungo la curva della funzione di perdita, l'algoritmo di discesa del gradiente aggiunge una parte della grandezza del gradiente al punto iniziale, come mostrato nella figura seguente:

Figura 5. Un passo del gradiente ci sposta al punto successivo sulla curva di perdita.

La discesa del gradiente ripete questo processo, con un bordo sempre più vicino al minimo.

Indietro

Un approccio iterativo

Avanti

Tasso di apprendimento