Per creare una rete neurale che apprende le non linearità, inizia con la seguente struttura di modello familiare: modello lineare della forma .
Possiamo visualizzare questa equazione come mostrato di seguito, dove , e sono i tre nodi di input (in blu) e è il nodo di output (in verde).
Esercizio 1
Nel modello riportato sopra, i valori weight e I valori di bias sono stati casuali inizializzato. Per acquisire familiarità con il corso, esegui le operazioni riportate di seguito ed esplorare il modello lineare. Puoi per ora ignora il menu a discesa Funzione di attivazione. parleremo di questo più avanti in questo modulo.
Fai clic sul pulsante Riproduci (▶️) sopra la rete per calcolare il valore il nodo di output per i valori di input , e x_3 .
Fai clic sul secondo nodo nella livello di input e aumenta il valore da 2,00 a 2,50. Tieni presente che il valore del nodo di output cambia. Seleziona l'output nodi (in verde) ed esamina il riquadro Calcoli per vedere come viene generato è stato calcolato.
Fare clic sul nodo di output (in verde) per visualizzare il peso (, , ) e bias (). Diminuisci il valore di ponderazione per (anche in questo caso, tieni presente che il valore del nodo di output e i calcoli sono cambiate). Quindi, aumenta il valore di bias. Esamina come queste modifiche hanno influenzato l'output del modello.
Aggiungere livelli alla rete
Tieni presente che, quando hai regolato i valori di ponderazione e bias della rete in Allenamento 1, che non ha modificato i calcoli matematici complessivi la relazione tra input e output. Il nostro modello è ancora un modello lineare.
Ma cosa succede se aggiungiamo un altro strato alla rete, tra quello di input e il livello di output? Nella terminologia delle reti neurali, gli strati aggiuntivi tra lo strato di input e quello di output sono chiamati strati nascosti e i nodi in questi strati sono chiamati neuroni.
Il valore di ciascun neurone nello strato nascosto viene calcolato come il valore output di un modello lineare: prende la somma del prodotto di ciascuno dei suoi input (i neuroni dello strato di rete precedente) e un parametro di peso univoco, più i pregiudizi. Analogamente, i neuroni dello strato successivo (qui lo strato di output) vengono calcolati utilizzando i valori neuroni dello strato nascosto come input.
Questo nuovo strato nascosto consente al modello di ricombinare i dati di input utilizzando un altro un insieme di parametri. Questo può aiutare il modello ad apprendere relazioni non lineari?
Esercizio 2
Abbiamo aggiunto al modello uno strato nascosto contenente quattro neuroni.
Fai clic sul pulsante Riproduci (▶️) sopra la rete per calcolare il valore i quattro nodi di strato nascosto e il nodo di output per i valori di input , e .
Quindi esplora il modello e utilizzalo per rispondere alle seguenti domande.
Prova a modificare i parametri del modello e osserva l'effetto sulla i valori dei nodi di strato nascosto e il valore di output (puoi esaminare Riquadro Calcoli di seguito per vedere come erano questi valori calcolati).
Questo modello può apprendere le non linearità?