Regressione lineare: esercizio di discesa del gradiente

In questo esercizio esaminerai il grafico dei dati sul consumo di carburante nell'esercizio sui parametri. Ma questa volta Usare la discesa del gradiente per apprendere i valori ottimali di ponderazione e bias per una che minimizza la perdita.

Completa le tre attività sotto il grafico.

Attività 1: regola il cursore Tasso di apprendimento sotto il grafico per impostare un valore di apprendimento automatico pari a 0,03. Fai clic sul pulsante Inizia per eseguire la discesa del gradiente.

Quanto tempo impiega l'addestramento del modello per convergere (raggiunge un minimo stabile) di perdita)? Qual è il valore dell'MSE al momento della convergenza del modello? Ponderazione e bias producono questo valore?

Fai clic sull'icona Più per vedere la nostra soluzione

Quando impostiamo un tasso di apprendimento pari a 0,03, il modello converge dopo di circa 30 secondi, raggiungendo una MSE di poco meno di 3 con peso e valori di bias pari, rispettivamente, a –2,08 e 23,098. Questo indica che abbiamo ha scelto un buon valore per il tasso di apprendimento.

Nota: i punti dati sul grafico variano leggermente ogni volta che carichi la pagina, quindi le tue soluzioni qui potrebbero essere diverse dalle nostre.

Attività 2: fai clic sul pulsante Reimposta sotto il grafico per reimpostare il peso e Valori bias nel grafico. Sposta il cursore Tasso di apprendimento su un valore intorno a 1,10e^-5. Fai clic sul pulsante Inizia per eseguire la discesa del gradiente.

Cosa noti riguardo a quanto tempo impiega l'addestramento del modello per convergere questa volta?

Fai clic sull'icona Più per visualizzare la soluzione.

Dopo diversi minuti, la convergenza dell'addestramento del modello non è ancora avvenuta. Piccole gli aggiornamenti ai valori di Ponderazione e bias continuano a comportare e la perdita di dati. Ciò suggerisce che una scelta di un tasso di apprendimento più elevato consentono la discesa del gradiente per trovare i valori di ponderazione e bias ottimali rapidamente.

Attività 3: fai clic sul pulsante Reimposta sotto il grafico per reimpostare il peso e bias nel grafico. Sposta il cursore Tasso di apprendimento fino a 1. Fai clic sul pulsante Inizia per eseguire la discesa del gradiente.

Cosa succede ai valori di perdita durante l'esecuzione della discesa del gradiente? Per quanto tempo verrà modellato addestramento richiesto per convergere questa volta?

Fai clic sull'icona Più per visualizzare la soluzione.

I valori di perdita variano molto a valori elevati (MSE oltre 300). Questo indica che il tasso di apprendimento è troppo elevato e che l'addestramento del modello non raggiungeranno mai la convergenza.