Производственные системы машинного обучения: проверьте свои знания

Вы используете машинное обучение для создания модели классификации, которая предсказывает появление единорогов. В вашем наборе данных содержится информация о 10 000 появлениях единорогов и 10 000 неявках единорогов. Набор данных содержит местоположение, время суток, высоту, температуру, влажность, древесный покров, наличие радуги и некоторые другие характеристики.

После запуска предсказателя появления единорога вам нужно будет поддерживать свою модель в актуальном состоянии, переобучаясь на новых данных. Поскольку вы собираете слишком много новых данных для обучения, вы решаете ограничить объем обучающих данных, отбирая новые данные в течение определенного периода времени. Вам также необходимо учитывать ежедневные и годовые закономерности появления единорогов. Какое окно времени вы выберете?

Однажды, потому что большее окно приведет к получению большого количества данных, и обучение вашей модели займет слишком много времени.

Одна неделя, чтобы ваш набор данных не был слишком большим, но вы все равно могли сгладить закономерности.

Один год, чтобы гарантировать, что ваша модель не подвержена влиянию ежедневных или годовых закономерностей.

Вы запускаете свой предсказатель внешности единорога. Это работает хорошо! Вы уходите в отпуск и возвращаетесь через три недели и обнаруживаете, что качество вашей модели значительно упало. Предположим, что поведение единорога вряд ли существенно изменится через три недели. Каково наиболее вероятное объяснение снижения качества?

Перекос между обучением и обслуживанием: формат предоставляемых данных постепенно менялся в какой-то момент после того, как модель начала обслуживаться.

Во время обучения вы использовали точность в качестве показателя.

Ваша модель устарела.

Ни один из вышеперечисленных.

Вы просматриваете прогнозы модели для Антарктиды и обнаруживаете, что модель дает неверные прогнозы с тех пор, как модель была запущена в производство. Что из перечисленного может быть источником проблемы?

Вам не хватило обучающих примеров для Антарктиды.

Вы использовали динамическую тренировку вместо статической.

Ваша модель устарела.

Все вышеперечисленное.

Ваш предсказатель появления единорога работает уже год. Вы устранили множество проблем, и качество теперь на высоком уровне. Однако вы заметили небольшую, но постоянную проблему. Качество вашей модели в городских районах немного снизилось. В чем может быть причина?

Высокое качество ваших прогнозов позволяет пользователям легко находить единорогов, что влияет на само поведение единорогов.

Городские территории сложно моделировать.

О появлении единорогов сообщается несколько раз в густонаселенных районах, что искажает ваши тренировочные данные.

Благодаря всем вашим усилиям по устранению неполадок вы значительно улучшили качество прогнозов модели единорога, и в результате ее использование увеличилось в десять раз. Однако сейчас пользователи жалуются, что модель крайне медленная; Запросы на вывод обычно требуют более 30 секунд для возврата прогнозов. Какое из следующих изменений могло бы помочь решить эту проблему?

Переключите модель с динамического обучения на статическое.

Переключите модель с динамического вывода на статический вывод.

Перед показом проверьте качество модели.

Ни одно из вышеперечисленных решений не поможет.