Regressione lineare: esercizio sulla discesa del gradiente

In questo esercizio, rivisiterai il grafico dei dati sull'efficienza del carburante dell'esercizio sui parametri. Ma questa volta utilizzerai la discesa del gradiente per apprendere i valori ottimali di ponderazione e bias per un modello lineare che minimizzi la perdita.

Completa le tre attività sotto il grafico.

Questa visualizzazione interattiva può produrre immagini lampeggianti se impostata su un tasso di apprendimento elevato, il che potrebbe influire sulle persone fotosensibili.

Attività 1: regola il cursore Tasso di apprendimento sotto il grafico per impostare un tasso di apprendimento di 0,03. Fai clic sul pulsante Avvia per eseguire la discesa del gradiente.

Quanto tempo richiede l'addestramento del modello per convergere (raggiungere un valore di perdita minimo stabile)? Qual è il valore MSE alla convergenza del modello? Quali valori di peso e bias producono questo valore?

Fai clic sull'icona Più per visualizzare la nostra soluzione.

Quando abbiamo impostato un tasso di apprendimento di 0,03, il modello è convergente in circa 30 secondi, raggiungendo un MSE di 2,67 con valori di peso e bias pari rispettivamente a -1,14 e 20,389. Ciò indica che abbiamo scelto un buon valore per il tasso di apprendimento.

Attività 2: fai clic sul pulsante Reimposta sotto il grafico per reimpostare i valori di Peso e Bias nel grafico. Regola il cursore Tasso di apprendimento su un valore intorno a 1,10e^–5. Fai clic sul pulsante Avvia per eseguire la discesa del gradiente.

Cosa noti in merito al tempo necessario per la convergenza dell'addestramento del modello questa volta?

Fai clic sull'icona Più per visualizzare la soluzione.

Dopo diversi minuti, l'addestramento del modello non è ancora convergente. Piccoli aggiornamenti ai valori di Weight and Bias continuano a generare valori di perdita leggermente inferiori. Ciò suggerisce che la scelta di un tasso di apprendimento più elevato consentirebbe alla discesa del gradiente di trovare più rapidamente i valori ottimali di peso e bias.

Attività 3: fai clic sul pulsante Reimposta sotto il grafico per reimpostare i valori di Peso e Bias nel grafico. Regola il cursore Tasso di apprendimento fino a 1. Fai clic sul pulsante Avvia per eseguire la discesa del gradiente.

Cosa succede ai valori di perdita durante l'esecuzione della discesa del gradiente? Quanto tempo ci vorrà per la convergenza dell'addestramento del modello questa volta?

Fai clic sull'icona Più per visualizzare la soluzione.

I valori di perdita fluttuano notevolmente a valori elevati (MSE superiore a 300). Ciò indica che il tasso di apprendimento è troppo elevato e l'addestramento del modello non raggiungerà mai la convergenza.