Этот документ поможет вам более эффективно обучать модели глубокого обучения. Хотя в этом документе особое внимание уделяется настройке гиперпараметров, он также затрагивает другие аспекты обучения глубокому обучению, такие как реализация и оптимизация конвейера обучения.
В этом документе предполагается, что ваша задача машинного обучения представляет собой либо задачу обучения с учителем , либо аналогичную проблему (например, обучение с самоконтролем ). Тем не менее, некоторые советы в этом документе могут также применяться к другим типам задач машинного обучения.
Целевая аудитория
Мы адресовали этот документ инженерам и исследователям, имеющим хотя бы базовые знания в области машинного и глубокого обучения . Если у вас нет такого опыта, рассмотрите возможность прохождения ускоренного курса машинного обучения .
Почему мы написали этот документ?
В настоящее время требуется невероятное количество труда и догадок, чтобы заставить глубокие нейронные сети работать хорошо на практике. Хуже того, реальные рецепты, которые люди используют для получения хороших результатов с помощью глубокого обучения, редко документируются. В статьях процесс, который привел к окончательным результатам, замалчивается, чтобы представить более полную картину, а инженеры по машинному обучению, работающие над коммерческими проблемами, редко имеют время сделать шаг назад и обобщить свой процесс. Учебники, как правило, избегают практических указаний и отдают приоритет фундаментальным принципам, даже если их авторы имеют необходимый опыт прикладной работы, чтобы дать полезные советы.
Готовясь к созданию этого документа, мы не смогли найти какой-либо всеобъемлющей попытки объяснить , как получить хорошие результаты с помощью глубокого обучения . Вместо этого мы находили обрывки советов в сообщениях в блогах и социальных сетях, трюки, выглядывающие из приложений к исследовательским работам, случайные тематические исследования одного конкретного проекта или трубопровода и много путаницы. Существует огромная пропасть между результатами, достигнутыми экспертами по глубокому обучению, и менее квалифицированными практиками, использующими внешне схожие методы. Однако эксперты с готовностью признают, что некоторые из их действий могут быть неоправданными. По мере того, как глубокое обучение становится более зрелым и оказывает все большее влияние на мир, сообществу требуется больше ресурсов, охватывающих полезные рецепты, включая все практические детали, которые могут иметь решающее значение для получения хороших результатов.
Мы — команда из пяти исследователей и инженеров, которые много лет работали в области глубокого обучения, некоторые из нас — еще с 2006 года. Мы применяем глубокое обучение во всем: от распознавания речи до астрономии. Этот документ вырос из нашего собственного опыта обучения нейронных сетей, обучения новых инженеров по машинному обучению и консультирования наших коллег по практике глубокого обучения.
Было приятно видеть, как глубокое обучение превратилось из подхода машинного обучения, практикуемого горсткой академических лабораторий, в технологию, лежащую в основе продуктов, используемых миллиардами людей. Однако глубокое обучение как инженерная дисциплина все еще находится в зачаточном состоянии, и мы надеемся, что этот документ побудит других помочь систематизировать экспериментальные протоколы в этой области.
Этот документ появился, когда мы пытались кристаллизовать наш собственный подход к глубокому обучению. Таким образом, он представляет наше мнение на момент написания, а не какую-либо объективную истину. Наши собственные трудности с настройкой гиперпараметров сделали это предметом особого внимания в нашем руководстве, но мы также освещаем другие важные проблемы, с которыми мы столкнулись в нашей работе (или видели, что они пошли не так). Наше намерение состоит в том, чтобы эта работа стала живым документом, который растет и развивается по мере изменения наших убеждений. Например, два года назад мы не смогли бы написать материал об устранении ошибок и устранении ошибок в обучении, поскольку он основан на недавних результатах и текущих исследованиях.
Неизбежно некоторые наши рекомендации необходимо будет обновить с учетом новых результатов и улучшения рабочих процессов. Мы не знаем оптимального рецепта глубокого обучения, но пока сообщество не начнет записывать и обсуждать различные процедуры, мы не можем надеяться найти его. С этой целью мы призываем читателей, которые считают, что наши советы не соответствуют действительности, предоставить альтернативные рекомендации, а также убедительные доказательства, чтобы мы могли обновить руководство. Нам также хотелось бы увидеть альтернативные руководства и сборники сценариев, в которых могут быть другие рекомендации, чтобы мы могли работать над лучшими практиками как сообщество.
Об этом смайлике-роботе
Смайлик робот 🤖 указывает на области, в которых мы хотели бы провести дополнительные исследования. Только после того, как я попробовал написать эту книгу, стало совершенно ясно, сколько интересных и забытых исследовательских вопросов можно найти в рабочем процессе специалиста по глубокому обучению.