Google for Developers

$\definecolor{input}{RGB}{66, 133, 244} \definecolor{output}{RGB}{219, 68, 55} \definecolor{dinput}{RGB}{244, 180, 0} \definecolor{doutput}{RGB}{15, 157, 88} \definecolor{dweight}{RGB}{102, 0, 255}$

Алгоритм зворотного поширення

Алгоритм зворотного поширення необхідний для швидкого навчання великих нейронних мереж. У цій статті пояснюється, як працює алгоритм.

Прокрутіть униз…

Проста нейронна мережа

Праворуч ви бачите нейронну мережу з одним вхідним, одним вихідним вузлом і двома прихованими шарами, у кожному з яких по два вузли.

Вузли сусідніх шарів з’єднані лініями ваги

$w_{ij}$ , які є параметрами мережі.

Функція активації

У кожного вузла є загальний вхід

$\color{input}x$ , функція активації

$f(\color{input}x\color{black})$ і вихід

$\color{output}y\color{black}=f(\color{input}x\color{black})$ .

$f(\color{input}x\color{black})$ має бути нелінійною функцією, інакше нейронна мережа зможе навчатися лише з лінійними моделями.

Функція активації, що використовується найчастіше, – це сигмоїдна функція:

$f(\color{input}x\color{black}) = \frac{1}{1+e^{-\color{input}x}}$ .

Функція помилок

Мета полягає в тому, щоб автоматично дізнатися значення ваги мережі на основі даних так, щоб прогнозний результат

$\color{output}y_{output}$ був близьким до цільового значення

$\color{output}y_{target}$ для всіх вхідних даних

$\color{input}x_{input}$ .

Щоб визначити, наскільки далеко ми від мети, використовуємо функцію помилок

$E$ . Функція помилок, що використовується найчастіше, – це

$E(\color{output}y_{output}\color{black},\color{output}y_{target}\color{black}) = \frac{1}{2}(\color{output}y_{output}\color{black} - \color{output}y_{target}\color{black})^2$ .

Поширення вперед

Спочатку потрібно взяти вхідний приклад

$(\color{input}x_{input}\color{black},\color{output}y_{target}\color{black})$ і оновити вхідний шар мережі.

Для узгодженості вважатимемо, що вхід такий самий, як будь-який інший вузол, але не має функції активації, адже його вихідне значення має дорівнювати вхідному, тобто

$\color{output}y_1 \color{black} = \color{input} x_{input}$ .

Поширення вперед

Тепер оновімо перший прихований шар. Слід врахувати результат

$\color{output}y$ вузлів попереднього шару й використати значення ваги, щоб обчислити вхідні дані

$\color{input}x$ вузлів наступного шару.

$\color{input} x_j \color{black} =$

$\sum_{i\in in(j)} w_{ij}\color{output} y_i\color{black} +b_j$

Поширення вперед

Потім потрібно оновити вихідні дані вузлів першого прихованого шару. Для цього використовується функція активації

$f(x)$ .

$\color{output} y \color{black} = f(\color{input} x \color{black})$

Поширення вперед

Скориставшись цими двома формулами, ми поширюємо їх на решту мережі й отримуємо її остаточний результат.

$\color{output} y \color{black} = f(\color{input} x \color{black})$

$\color{input} x_j \color{black} =$

$\sum_{i\in in(j)} w_{ij}\color{output} y_i \color{black} + b_j$

Похідна помилки

Алгоритм зворотного поширення вирішує, наскільки оновити кожне значення ваги мережі після порівняння прогнозного результату з бажаним для конкретного прикладу. Для цього потрібно обчислити, як змінюється помилка для кожного значення ваги

$\color{dweight}\frac{dE}{dw_{ij}}$ .
Отримавши похідні помилки, можна оновити значення ваги за допомогою простого правила:

$w_{ij} = w_{ij} - \alpha \color{dweight}\frac{dE}{dw_{ij}}$

(

$\alpha$ – додатна константа, що називається швидкістю навчання, її потрібно відкоригувати експериментальним шляхом).

[Примітка.] Правило оновлення дуже просте: якщо помилка зменшується при зростанні ваги (

$\color{dweight}\frac{dE}{dw_{ij}}\color{black} < 0$ ), це значення слід збільшити; і навпаки, якщо вона збільшується при зростанні ваги (

$\color{dweight}\frac{dE}{dw_{ij}} \color{black} > 0$ ), це значення потрібно зменшити.

Додаткові похідні

Щоб полегшити обчислення

$\color{dweight}\frac{dE}{dw_{ij}}$ , ми додатково зберігаємо для кожного вузла ще дві похідні: Це допомагає з’ясувати, як на помилку впливає зміна:

суми вхідних даних вузла $\color{dinput}\frac{dE}{dx}$ ;
вихідних даних вузла $\color{doutput}\frac{dE}{dy}$ .

Зворотне поширення

Почнімо зворотне поширення похідних помилки. Оскільки в нас є прогнозний результат цього конкретного прикладу вхідних даних, можна обчислити, як він впливає на помилку. Враховуючи нашу функцію помилки

$E = \frac{1}{2}(\color{output}y_{output}\color{black} - \color{output}y_{target}\color{black})^2$ , маємо:

$\color{doutput} \frac{\partial E}{\partial y_{output}} \color{black} = \color{output} y_{output} \color{black} - \color{output} y_{target}$

Зворотне поширення

Тепер, коли ми маємо

$\color{doutput} \frac{dE}{dy}$ , можна отримати

$\color{dinput}\frac{dE}{dx}$ за ланцюговим правилом.

$\color{dinput} \frac{\partial E}{\partial x} \color{black} = \frac{dy}{dx}\color{doutput}\frac{\partial E}{\partial y} \color{black} = \frac{d}{dx}f(\color{input}x\color{black})\color{doutput}\frac{\partial E}{\partial y}$

(де

$\frac{d}{dx}f(\color{input}x\color{black}) = f(\color{input}x\color{black})(1 - f(\color{input}x\color{black}))$ , коли

$f(\color{input}x\color{black})$ є сигмоїдною функцією активації).

Зворотне поширення

Щойно ми отримаємо похідну помилки відносно суми вхідних даних вузла, можна обчислити таку похідну з урахуванням значень ваги, які надходять до цього вузла.

$\color{dweight} \frac{\partial E}{\partial w_{ij}} \color{black} = \frac{\partial x_j}{\partial w_{ij}} \color{dinput}\frac{\partial E}{\partial x_j} \color{black} = \color{output}y_i \color{dinput} \frac{\partial E}{\partial x_j}$

Зворотне поширення

А використовуючи ланцюгове правило, ми також можемо отримати

$\frac{dE}{dy}$ з попереднього шару. Ми зробили повне коло.

$\color{doutput} \frac{\partial E}{\partial y_i} \color{black} = \sum_{j\in out(i)} \frac{\partial x_j}{\partial y_i} \color{dinput} \frac{\partial E}{\partial x_j} \color{black} = \sum_{j\in out(i)} w_{ij} \color{dinput} \frac{\partial E}{\partial x_j}$

Зворотне поширення

Залишається застосовувати попередні три формули, доки не буде обчислено всі похідні помилки.

Алгоритм зворотного поширення

Проста нейронна мережа

Функція активації

Функція помилок

Поширення вперед

Поширення вперед

Поширення вперед

Поширення вперед

Похідна помилки

Додаткові похідні

Зворотне поширення

Зворотне поширення

Зворотне поширення

Зворотне поширення

Зворотне поширення

Кінець.