Reti neurali: nodi e strati nascosti

Per creare una rete neurale che apprende le non linearità, inizia con la seguente struttura di modello familiare: modello lineare della forma a=b+w1x1+w2x2+w3x3.

Possiamo visualizzare questa equazione come mostrato di seguito, dove x1, x2 e x3 sono i tre nodi di input (in blu) e y è il nodo di output (in verde).

Esercizio 1

Nel modello riportato sopra, i valori weight e I valori di bias sono stati casuali inizializzato. Per acquisire familiarità con il corso, esegui le operazioni riportate di seguito ed esplorare il modello lineare. Puoi per ora ignora il menu a discesa Funzione di attivazione. parleremo di questo più avanti in questo modulo.

  1. Fai clic sul pulsante Riproduci (▶️) sopra la rete per calcolare il valore il nodo di output per i valori di input x1=1.00, x2=2.00 e x_3 =3,00.

  2. Fai clic sul secondo nodo nella livello di input e aumenta il valore da 2,00 a 2,50. Tieni presente che il valore del nodo di output cambia. Seleziona l'output nodi (in verde) ed esamina il riquadro Calcoli per vedere come viene generato è stato calcolato.

  3. Fare clic sul nodo di output (in verde) per visualizzare il peso (w1, w2, w3) e bias (b). Diminuisci il valore di ponderazione per w3 (anche in questo caso, tieni presente che il valore del nodo di output e i calcoli sono cambiate). Quindi, aumenta il valore di bias. Esamina come queste modifiche hanno influenzato l'output del modello.

Aggiungere livelli alla rete

Tieni presente che, quando hai regolato i valori di ponderazione e bias della rete in Allenamento 1, che non ha modificato i calcoli matematici complessivi la relazione tra input e output. Il nostro modello è ancora un modello lineare.

Ma cosa succede se aggiungiamo un altro strato alla rete, tra quello di input e il livello di output? Nella terminologia delle reti neurali, gli strati aggiuntivi tra lo strato di input e quello di output sono chiamati strati nascosti e i nodi in questi strati sono chiamati neuroni.

Il valore di ciascun neurone nello strato nascosto viene calcolato come il valore output di un modello lineare: prende la somma del prodotto di ciascuno dei suoi input (i neuroni dello strato di rete precedente) e un parametro di peso univoco, più i pregiudizi. Analogamente, i neuroni dello strato successivo (qui lo strato di output) vengono calcolati utilizzando i valori neuroni dello strato nascosto come input.

Questo nuovo strato nascosto consente al modello di ricombinare i dati di input utilizzando un altro un insieme di parametri. Questo può aiutare il modello ad apprendere relazioni non lineari?

Esercizio 2

Abbiamo aggiunto al modello uno strato nascosto contenente quattro neuroni.

Fai clic sul pulsante Riproduci (▶️) sopra la rete per calcolare il valore i quattro nodi di strato nascosto e il nodo di output per i valori di input x1=1,00, x2=2,00 e x3=3,00.

Quindi esplora il modello e utilizzalo per rispondere alle seguenti domande.

Quanti parameters (ponderazioni e bias), modello di rete?
4
12
16
21

Prova a modificare i parametri del modello e osserva l'effetto sulla i valori dei nodi di strato nascosto e il valore di output (puoi esaminare Riquadro Calcoli di seguito per vedere come erano questi valori calcolati).

Questo modello può apprendere le non linearità?

No