Regressione lineare: esercizio di discesa del gradiente

In questo esercizio tornerai di nuovo il grafico dei dati sul consumo di carburante dell'esercizio Parametri. Questa volta, però, utilizzerai la discesa del gradiente per apprendere i valori ottimali di ponderazione e bias per un modello lineare che minimizzi la perdita.

Completa le tre attività sotto il grafico.

Questa visualizzazione interattiva può produrre immagini lampeggianti se impostata su un tasso di apprendimento elevato, che potrebbe interessare le persone fotosensibili.

Attività 1: regola il dispositivo di scorrimento Tasso di apprendimento sotto il grafico per impostare un tasso di apprendimento di 0,03. Fai clic sul pulsante Avvia per eseguire la discesa del gradiente.

Quanto tempo occorre per l'addestramento del modello per convergere (raggiungere un valore minimo stabile della perdita)? Qual è il valore dell'MSE al momento della convergenza del modello? Quali valori di ponderazione e bias producono questo valore?

Fai clic sull'icona Più per vedere la nostra soluzione

Quando abbiamo impostato un tasso di apprendimento di 0,03, il modello è convergene dopo circa 30 secondi, raggiungendo un MSE di poco inferiore a 3 con valori di peso e bias rispettivamente pari a -2,08 e 23,098. Ciò indica che abbiamo scelto un buon valore per il tasso di apprendimento.

Nota: i punti dati nel grafico variano leggermente ogni volta che carichi la pagina, pertanto le tue soluzioni qui potrebbero essere un po' diverse dalle nostre.

Attività 2: fai clic sul pulsante Reimposta sotto il grafico per reimpostare i valori di ponderazione e bias nel grafico. Regola il cursore Tasso di apprendimento su un valore pari a circa 1,10e^-5. Fai clic sul pulsante Avvia per eseguire la discesa del gradiente.

Cosa noti in merito al tempo necessario per la convergenza dell'addestramento del modello questa volta?

Fai clic sull'icona Più per visualizzare la soluzione.

Dopo diversi minuti, l'addestramento del modello non è ancora terminato. Piccoli aggiornamenti ai valori di peso e bias continuano a produrre valori di perdita leggermente inferiori. Ciò suggerisce che la scelta di un tasso di apprendimento più elevato consentirebbe alla discesa del gradiente di trovare più rapidamente i valori ottimali di peso e bias.

Attività 3: fai clic sul pulsante Reimposta sotto il grafico per reimpostare i valori di ponderazione e bias nel grafico. Regola il cursore Tasso di apprendimento fino a 1. Fai clic sul pulsante Avvia per eseguire la discesa del gradiente.

Che cosa succede ai valori di perdita durante l'esecuzione della discesa del gradiente? Quanto tempo ci vorrà per la convergenza dell'addestramento del modello questa volta?

Fai clic sull'icona Più per visualizzare la soluzione.

I valori di perdita variano molto a valori elevati (MSE oltre 300). Ciò indica che il tasso di apprendimento è troppo elevato e che l'addestramento del modello non raggiungerà mai la convergenza.