Этот урок посвящен вопросам, которые вам следует задать о ваших данных и модели в производственных системах.
Полезна ли каждая функция?
Вы должны постоянно следить за своей моделью, чтобы удалить функции, которые мало или совсем не влияют на прогнозирующую способность модели. Если входные данные для этой функции резко изменятся, поведение вашей модели также может резко измениться нежелательным образом.
Также рассмотрите следующий связанный вопрос:
- Оправдывает ли полезность этой функции затраты на ее включение?
Всегда есть соблазн добавить в модель больше функций. Например, предположим, что вы нашли новую функцию, добавление которой немного улучшает прогнозы вашей модели. Немного лучшие прогнозы, конечно, кажутся лучше, чем немного худшие; однако дополнительная функция увеличивает нагрузку на обслуживание.
Надежен ли ваш источник данных?
Несколько вопросов о надежности входных данных:
- Всегда ли сигнал будет доступен или он исходит из ненадежного источника? Например:
- Сигнал исходит от сервера, который выходит из строя при большой нагрузке?
- Сигнал исходит от людей, которые каждый август уезжают в отпуск?
- Изменяется ли когда-нибудь система, вычисляющая входные данные вашей модели? Если так:
- Как часто?
- Как вы узнаете, когда эта система изменится?
Рассмотрите возможность создания собственной копии данных, которые вы получаете от восходящего процесса. Затем переходите к следующей версии исходных данных только тогда, когда вы уверены, что это безопасно.
Является ли ваша модель частью цикла обратной связи?
Иногда модель может влиять на собственные данные обучения. Например, результаты некоторых моделей, в свою очередь, становятся (прямо или косвенно) входными признаками той же модели.
Иногда одна модель может влиять на другую модель. Например, рассмотрим две модели прогнозирования цен на акции:
- Модель A — плохая прогнозирующая модель.
- Модель Б.
Поскольку модель А содержит ошибки, она ошибочно решает купить акции акции X. Эти покупки приводят к росту цены акции X. Модель B использует цену акции X в качестве входного признака, поэтому модель B может прийти к некоторым ложным выводам о Таким образом, модель B может покупать или продавать акции акции X на основе ошибочного поведения модели A. Поведение модели B, в свою очередь, может повлиять на модель A, возможно, спровоцировав тюльпаноманию или падение акций компании X. запас.
Упражнение: Проверьте свое понимание.
Какие три из следующих моделей подвержены петле обратной связи?
Модель прогнозирования дорожного движения, которая прогнозирует заторы на съездах с шоссе рядом с пляжем, используя в качестве одной из характеристик размер толпы на пляже.
Некоторые любители пляжного отдыха, скорее всего, будут основывать свои планы на прогнозе трафика. Если на пляже много людей и прогнозируется интенсивное движение, многие люди могут составить альтернативный план. Это может снизить посещаемость пляжей, что приведет к снижению прогнозируемого трафика, что затем может увеличить посещаемость, и цикл повторится.
Модель рекомендации книг, которая предлагает романы, которые могут понравиться пользователям, на основе их популярности (т. е. количества покупок книг).
Рекомендации по книгам, скорее всего, будут стимулировать покупки, и эти дополнительные продажи будут возвращены в модель в качестве входных данных, что повысит вероятность того, что она будет рекомендовать эти же книги в будущем.
Модель ранжирования университетов, которая оценивает школы частично по их избирательности — проценту поступивших студентов.
Рейтинги модели могут вызвать дополнительный интерес к школам с самым высоким рейтингом, увеличивая количество получаемых ими заявок. Если эти школы продолжат принимать такое же количество учащихся, избирательность увеличится (процент принятых учащихся снизится). Это повысит рейтинг этих школ, что еще больше повысит интерес потенциальных студентов и так далее…
Модель результатов выборов, которая прогнозирует победителя гонки за пост мэра путем опроса 2% избирателей после закрытия избирательных участков.
Если модель не публикует свой прогноз до закрытия избирательных участков, ее прогнозы не смогут повлиять на поведение избирателей.
Модель стоимости жилья, которая прогнозирует цены на жилье, используя в качестве характеристик размер (площадь в квадратных метрах), количество спален и географическое положение.
Невозможно быстро изменить местоположение, размер или количество спален дома в ответ на прогнозы цен, что делает петлю обратной связи маловероятной. Однако потенциально существует корреляция между размером и количеством спален (в больших домах, скорее всего, будет больше комнат), которую, возможно, придется разделить.
Модель атрибутов лица, определяющая, улыбается ли человек на фотографии, которая регулярно обучается на основе базы данных стоковых фотографий, которая автоматически обновляется ежемесячно.
Здесь нет обратной связи, поскольку прогнозы модели не оказывают никакого влияния на базу данных фотографий. Однако здесь вызывает беспокойство версия входных данных, поскольку эти ежемесячные обновления потенциально могут иметь непредвиденные последствия для модели.
