Regressione lineare: esercizio sulla discesa del gradiente

In questo esercizio, esaminerai di nuovo il grafico dei dati sull'efficienza del carburante dell'esercizio sui parametri. Questa volta, però, utilizzerai la discesa del gradiente per apprendere i valori ottimali di peso e bias per un modello lineare che minimizza la perdita.

Completa le tre attività sotto il grafico.

Questa visualizzazione interattiva può produrre immagini lampeggianti se impostata su un'alta frequenza di apprendimento, il che potrebbe interessare le persone fotosensibili.

Attività 1: regola il cursore Tasso di apprendimento sotto il grafico per impostare un tasso di apprendimento di 0,03. Fai clic sul pulsante Avvia per eseguire la discesa del gradiente.

Quanto tempo occorre per l'addestramento del modello per convergere (raggiungere un valore minimo stabile della perdita)? Qual è il valore MSE alla convergenza del modello? Quali valori di peso e bias producono questo valore?

Fai clic sull'icona Più per visualizzare la nostra soluzione

Quando abbiamo impostato un tasso di apprendimento di 0,03, il modello è convergene dopo circa 30 secondi, raggiungendo un MSE di poco inferiore a 3 con valori di peso e bias rispettivamente pari a -2,08 e 23,098. Ciò indica che abbiamo scelto un buon valore per il tasso di apprendimento.

Nota: i punti dati nel grafico variano leggermente ogni volta che carichi la pagina, pertanto le tue soluzioni potrebbero essere leggermente diverse dalle nostre.

Attività 2:fai clic sul pulsante Ripristina sotto il grafico per ripristinare i valori di Peso e Bias nel grafico. Regola il cursore Tasso di apprendimento su un valore pari a circa 1,10e^-5. Fai clic sul pulsante Avvia per eseguire la discesa del gradiente.

Cosa noti in merito al tempo necessario per la convergenza dell'addestramento del modello questa volta?

Fai clic sull'icona Più per visualizzare la soluzione.

Dopo diversi minuti, l'addestramento del modello non è ancora terminato. Piccoli aggiornamenti ai valori di peso e bias continuano a produrre valori di perdita leggermente inferiori. Ciò suggerisce che la scelta di un tasso di apprendimento più elevato consentirebbe alla discesa del gradiente di trovare più rapidamente i valori ottimali di peso e bias.

Attività 3:fai clic sul pulsante Ripristina sotto il grafico per reimpostare i valori di Peso e Bias nel grafico. Regola il cursore Tasso di apprendimento fino a 1. Fai clic sul pulsante Avvia per eseguire la discesa del gradiente.

Che cosa succede ai valori di perdita durante l'esecuzione della discesa del gradiente? Quanto tempo ci vorrà per la convergenza dell'addestramento del modello questa volta?

Fai clic sull'icona Più per visualizzare la soluzione.

I valori di perdita fluttuano notevolmente a valori elevati (MSE superiore a 300). Ciò indica che il tasso di apprendimento è troppo elevato e che l'addestramento del modello non raggiungerà mai la convergenza.