Лінійна регресія: вправа з градієнтного спуску

Виконуючи цю вправу, ви знову працюватимете з графіком даних про витрату палива з вправи "Параметри". Однак цього разу ви використовуватимете градієнтний спуск, щоб дізнатись оптимальні значення ваги й зсуву для лінійної моделі, яка зводить втрати до мінімуму.

Виконайте три завдання, наведені під графіком.

Ця інтерактивна візуалізація може створювати миготливі візуальні ефекти, якщо встановлено високу швидкість навчання. Це може впливати на світлочутливих людей.

Завдання 1. Відрегулюйте повзунок Learning Rate (Швидкість навчання), розміщений під графіком, щоб установити значення 0,03. Натисніть кнопку Start (Почати), щоб виконати градієнтний спуск.

Скільки часу потрібно для навчання моделі, щоб досягти збіжності (стабільного мінімального значення втрат)? Яке значення MSE при збіжності моделі? Які значення ваги й зсуву дали змогу його отримати?

Натисніть значок плюса, щоб побачити наше рішення

Коли ми встановили швидкість навчання 0,03, модель досягала збіжності приблизно через 30 секунд. При цьому середньоквадратична похибка (MSE) становила трохи менше ніж 3, а значення ваги й зсуву дорівнювали –2,08 і 23,098 відповідно. Це означає, що вибрано хороше значення швидкості навчання.

Примітка. Точки даних на графіку дещо змінюються щоразу, коли ви завантажуєте сторінку, тому ваші рішення можуть дещо відрізнятися від наших.

Завдання 2. Натисніть кнопку Reset (Скинути), розміщену під графіком, щоб скинути значення Weight (Вага) і Bias (Зсув). Відрегулюйте повзунок Learning Rate (Швидкість навчання), щоб установити значення приблизно 1,10e^–5. Натисніть кнопку Start (Почати), щоб виконати градієнтний спуск.

Скільки часу, за вашими спостереженнями, знадобилося моделі для навчання, щоб досягти збіжності цього разу?

Натисніть значок плюса, щоб побачити рішення

Модель навчалася вже кілька хвилин, але збіжності ще не було досягнуто. Невеликі оновлення значень ваги й зсуву продовжують дещо знижувати втрати. Це свідчить про те, що при виборі вищої швидкості навчання градієнтний спуск міг би швидше знайти оптимальні значення ваги й зсуву.

Завдання 3. Натисніть кнопку Reset (Скинути), розміщену під графіком, щоб скинути значення Weight (Вага) і Bias (Зсув). Відрегулюйте повзунок Learning Rate (Швидкість навчання), щоб установити значення 1. Натисніть кнопку Start (Почати), щоб виконати градієнтний спуск.

Що відбувається зі значеннями втрат, коли виконується градієнтний спуск? Скільки часу знадобиться моделі для навчання, щоб досягти збіжності цього разу?

Натисніть значок плюса, щоб побачити рішення

Значення втрат різко коливаються при високих значеннях (MSE понад 300). Це вказує на те, що швидкість навчання зависока й модель ніколи не досягне збіжності.