Google for Developers

$\definecolor{input}{RGB}{66, 133, 244} \definecolor{output}{RGB}{219, 68, 55} \definecolor{dinput}{RGB}{244, 180, 0} \definecolor{doutput}{RGB}{15, 157, 88} \definecolor{dweight}{RGB}{102, 0, 255}$

Algorytm propagacji

Algorytm propagacji jest niezbędny do szybkiego trenowania dużych sieci neuronowych. Z tego artykułu dowiesz się, jak działa ten algorytm.

Przewiń w dół...

Prosta sieć neuronowa

Po prawej stronie zobaczysz sieć neuronową z 1 wejściem, 1 węzłem wyjściowym i 2 ukrytymi warstwami po 2 węzły.

Węzły w sąsiednich warstwach są połączone wagami

$w_{ij}$ , które są parametrami sieci.

Funkcja aktywacji

Każdy węzeł ma łączną łączną liczbę

$\color{input}x$ , funkcję aktywacji

$f(\color{input}x\color{black})$ i dane wyjściowe

$\color{output}y\color{black}=f(\color{input}x\color{black})$ .

$f(\color{input}x\color{black})$ musi być funkcją nielinearną. W przeciwnym razie sieć neuronowa będzie mogła uczyć się tylko modele liniowe.

Częstą funkcją aktywacji jest funkcja Sigmoid:

$f(\color{input}x\color{black}) = \frac{1}{1+e^{-\color{input}x}}$ .

Funkcja błędu

Ma to na celu automatyczne poznanie wag sieci na podstawie danych, aby przewidywane dane wyjściowe

$\color{output}y_{output}$ były zbliżone do wartości docelowej

$\color{output}y_{target}$ w przypadku wszystkich danych wejściowych

$\color{input}x_{input}$ .

Do określenia, jak daleko jesteśmy od celu, używamy funkcji błędu

$E$ . Typowa funkcja błędu to

$E(\color{output}y_{output}\color{black},\color{output}y_{target}\color{black}) = \frac{1}{2}(\color{output}y_{output}\color{black} - \color{output}y_{target}\color{black})^2$ .

Przekaż dalej

Zaczniemy od przykładowego wprowadzenia

$(\color{input}x_{input}\color{black},\color{output}y_{target}\color{black})$ i zaktualizowania warstwy wejściowej sieci.

Aby zachować spójność, dane wejściowe są uznawane za każdy inny węzeł, ale bez funkcji aktywacji, dlatego dane wyjściowe są takie same jak dane wejściowe, czyli

$\color{output}y_1 \color{black} = \color{input} x_{input}$ .

Przekaż dalej

Teraz aktualizujemy pierwszą ukrytą warstwę. Sprawdzamy dane wyjściowe

$\color{output}y$ węzłów z poprzedniej warstwy i używamy wag do obliczania ich danych wejściowych

$\color{input}x$ w następnej warstwie.

$\color{input} x_j \color{black} =$

$\sum_{i\in in(j)} w_{ij}\color{output} y_i\color{black} +b_j$

Przekaż dalej

Następnie aktualizujemy dane wyjściowe węzłów w pierwszej ukrytej warstwie. Do tego celu używamy funkcji aktywacji

$f(x)$ .

$\color{output} y \color{black} = f(\color{input} x \color{black})$

Przekaż dalej

Korzystając z tych 2 formuł, rozpowszechniamy resztę sieci i pobieramy jej ostateczne dane wyjściowe.

$\color{output} y \color{black} = f(\color{input} x \color{black})$

$\color{input} x_j \color{black} =$

$\sum_{i\in in(j)} w_{ij}\color{output} y_i \color{black} + b_j$

Pochodna błędu

Algorytm propagacji decyduje o tym, jak duża ma być aktualizacja każdej wagi sieci po porównaniu prognozowanej wartości wyjściowej z oczekiwanymi danymi wyjściowymi dla danego przykładu. W tym celu musimy obliczyć zmianę wagi w poszczególnych wagach.

$\color{dweight}\frac{dE}{dw_{ij}}$
Gdy otrzymamy pochodne błędów, możemy zaktualizować wagi, korzystając z prostej reguły aktualizacji:

$w_{ij} = w_{ij} - \alpha \color{dweight}\frac{dE}{dw_{ij}}$

gdzie

$\alpha$ jest stałą dodatnią, zwaną współczynnikiem nauczania, który musimy dostosować w empiryczny sposób.

[Uwaga] Reguła aktualizacji jest bardzo prosta: jeśli błąd zniknie, gdy waga wzrośnie (

$\color{dweight}\frac{dE}{dw_{ij}}\color{black} < 0$ ), a następnie zwiększ wagę, a gdy wzrośnie, gdy waga wzrośnie (

$\color{dweight}\frac{dE}{dw_{ij}} \color{black} > 0$ ), a potem zmniejsz wagę.

Dodatkowe pochodne

Aby ułatwić obliczenie funkcji

$\color{dweight}\frac{dE}{dw_{ij}}$ , dodatkowo przechowujemy też dla każdego 2 pochodnych węzłów, w zależności od tego, jak zmienia się błąd:

łączną liczbę węzłów $\color{dinput}\frac{dE}{dx}$ i
dane wyjściowe węzła $\color{doutput}\frac{dE}{dy}$ .

Propagacja wstecz

Zaczynamy propagować pochodne w błędach. Zgodnie z prognozą danych wyjściowych z danego przykładu możemy obliczyć, jak zmienia się błąd w tych danych wyjściowych. Ze względu na funkcję błędów

$E = \frac{1}{2}(\color{output}y_{output}\color{black} - \color{output}y_{target}\color{black})^2$ mamy:

$\color{doutput} \frac{\partial E}{\partial y_{output}} \color{black} = \color{output} y_{output} \color{black} - \color{output} y_{target}$

Propagacja wstecz

Teraz

$\color{doutput} \frac{dE}{dy}$ możemy

$\color{dinput}\frac{dE}{dx}$ używać reguły łańcuchowej.

$\color{dinput} \frac{\partial E}{\partial x} \color{black} = \frac{dy}{dx}\color{doutput}\frac{\partial E}{\partial y} \color{black} = \frac{d}{dx}f(\color{input}x\color{black})\color{doutput}\frac{\partial E}{\partial y}$

gdzie

$\frac{d}{dx}f(\color{input}x\color{black}) = f(\color{input}x\color{black})(1 - f(\color{input}x\color{black}))$ jeśli

$f(\color{input}x\color{black})$ to funkcja aktywacji Sigmoid.

Propagacja wstecz

Gdy tylko uzyskamy pochodną błędu dotyczącego całkowitej wartości jego węzła, możemy uzyskać jego pochodną wagę względem tego węzła.

$\color{dweight} \frac{\partial E}{\partial w_{ij}} \color{black} = \frac{\partial x_j}{\partial w_{ij}} \color{dinput}\frac{\partial E}{\partial x_j} \color{black} = \color{output}y_i \color{dinput} \frac{\partial E}{\partial x_j}$

Propagacja wstecz

Korzystając z reguły łańcucha, możemy też

$\frac{dE}{dy}$ uzyskać dostęp do poprzedniej warstwy. Zrobiliśmy już koło

$\color{doutput} \frac{\partial E}{\partial y_i} \color{black} = \sum_{j\in out(i)} \frac{\partial x_j}{\partial y_i} \color{dinput} \frac{\partial E}{\partial x_j} \color{black} = \sum_{j\in out(i)} w_{ij} \color{dinput} \frac{\partial E}{\partial x_j}$

Propagacja wstecz

Musisz tylko powtórzyć 3 poprzednie formuły, dopóki nie obliczymy wszystkich pochodnych błędów.

Algorytm propagacji

Prosta sieć neuronowa

Funkcja aktywacji

Funkcja błędu

Przekaż dalej

Przekaż dalej

Przekaż dalej

Przekaż dalej

Pochodna błędu

Dodatkowe pochodne

Propagacja wstecz

Propagacja wstecz

Propagacja wstecz

Propagacja wstecz

Propagacja wstecz

Koniec