Регуляризация для разреженности: упражнение на игровой площадке

Расчетное время: 8 минут

Изучение регуляризации L ₁

Это упражнение содержит небольшой, немного зашумленный набор обучающих данных. В таких условиях переоснащение является настоящей проблемой. Регуляризация могла бы помочь, но какая форма регуляризации?

Это упражнение состоит из пяти взаимосвязанных задач. Чтобы упростить сравнение пяти задач, запускайте каждую задачу на отдельной вкладке.Обратите внимание, что толщина линий, соединяющих FEATURES и OUTPUT, представляет относительный вес каждой функции.

Задача	Тип регуляризации	Скорость регуляризации (лямбда)
1	Л 2	0,1
2	Л 2	0,3
3	Л 1	0,1
4	Л 1	0,3
5	Л 1	эксперимент

Вопросы:

1. Как переключение с регуляризации _L2 на _L1 влияет на разницу между потерями в тестах и ​​потерями в обучении?
2. Как переключение с регуляризации _L2 на _L1 влияет на изученные веса?
3. Как увеличение скорости регуляризации L ₁ (лямбда) влияет на изученные веса?

(Ответы приведены сразу под упражнением.)

---

---

Нажмите значок плюса, чтобы увидеть ответы.

1. Переключение с регуляризации L ₂ на L ₁ значительно уменьшает разницу между потерями при тестировании и потерями при обучении.
2. Переключение с регуляризации L ₂ на L ₁ демпфирует все изученные веса.
3. Увеличение скорости регуляризации L ₁ обычно ослабляет полученные веса; однако, если уровень регуляризации станет слишком высоким, модель не сможет сходиться, и потери будут очень высокими.