Обобщение относится к способности вашей модели должным образом адаптироваться к новым, ранее неизвестным данным, взятым из того же распределения, которое использовалось для создания модели.
Обобщение
Большая картинка
- Цель: хороший прогноз на основе новых данных, полученных из (скрытого) истинного распределения.
- Проблема: мы не видим правды.
- Мы получаем только образец от него.
Большая картинка
- Цель: хороший прогноз на основе новых данных, полученных из (скрытого) истинного распределения.
- Проблема: мы не видим правды.
- Мы получаем только образец от него.
- Если модель h хорошо соответствует нашей текущей выборке, как мы можем быть уверены, что она будет хорошо предсказывать другие новые выборки?
Как узнать, хороша ли наша модель?
- Теоретически:
- Интересная область: теория обобщения
- Основан на идеях измерения простоты/сложности модели
- Интуиция: формализация принципа бритвы Оккама
- Чем менее сложна модель, тем больше вероятность того, что хороший эмпирический результат обусловлен не только особенностями нашей выборки.
Как узнать, хороша ли наша модель?
- Эмпирически:
- Вопрос: будет ли наша модель хорошо работать с новой выборкой данных?
- Оценить: получить новый образец данных — назовем его тестовым набором.
- Хорошая производительность на тестовом наборе является полезным индикатором хорошей производительности на новых данных в целом:
- Если набор тестов достаточно велик
- Если мы не будем обманывать, используя тестовый набор снова и снова
Мелкий шрифт ML
Три основных допущения во всем вышеизложенном:
- Мы берем примеры независимо и одинаково (iid) наугад из распределения
- Распределение является стационарным : оно не меняется со временем.
- Мы всегда берем из одного и того же дистрибутива : включая обучающие, проверочные и тестовые наборы.