Новая улучшенная версия ускоренного курса машинного обучения выйдет в августе 2024 года . Следите за обновлениями!
В этом модуле основное внимание уделяется особым требованиям к моделям, изучаемым на векторах признаков, имеющих много измерений.
Регуляризация для разреженности
Вернёмся к скрещиваниям функций
- Предостережение: редкие пересечения объектов могут значительно увеличить пространство объектов.
- Возможные проблемы:
- Размер модели (ОЗУ) может стать огромным
- Коэффициенты «шума» (вызывают переобучение)
L 1 Регуляризация
- Хотел бы оштрафовать L 0 норму весов
- Невыпуклая оптимизация; NP-жесткий
L 1 Регуляризация
- Хотел бы оштрафовать L 0 норму весов
- Невыпуклая оптимизация; NP-жесткий
- Расслабьтесь до регуляризации L 1 :
- Наказать сумму абс(весов)
- Выпуклая задача
- Поощряйте разреженность в отличие от L 2
