Проекты машинного обучения реализуются поэтапно, имея определённые цели, задачи и результаты. Чёткое понимание этапов разработки машинного обучения помогает определить обязанности инженеров, управлять ожиданиями заинтересованных сторон и эффективно распределять ресурсы.
Успешное прохождение этапов (часто итеративно) имеет основополагающее значение для проектирования, сборки и построения моделей МО, которые решают бизнес-задачи в долгосрочной перспективе.
На высоком уровне внедрение решения МО состоит из следующих этапов:
- Идеи и планирование
- Экспериментирование
- Строительство трубопровода
- Продакшнизация
Идеи и планирование
На этапе разработки идеи и планирования вы формулируете проблему с точки зрения решения на основе машинного обучения и оцениваете осуществимость проекта.
- Цель : определить, является ли МО лучшим решением вашей проблемы.
- Задачи : Проанализируйте бизнес-проблему, чтобы понять ограничения вашего проекта.
- Результат : проектный документ, описывающий, как решить проблему с помощью решения МО.
Экспериментирование
Эксперименты — основа машинного обучения. На этом этапе вы проверяете жизнеспособность решения, разработанного на основе машинного обучения. Поиск решения — это итеративный процесс. Нередко приходится проводить сотни экспериментов, прежде чем найти оптимальную комбинацию признаков , гиперпараметров и архитектуры модели, которая решает задачу.
- Цель : построить модель, решающую бизнес-проблему.
- Задачи : экспериментировать с функциями, гиперпараметрами и архитектурой моделей.
- Результат : модель достаточно хорошего качества для запуска в производство.
Строительство трубопроводов и внедрение производства
На этапе построения и запуска конвейера вы создаёте конвейеры для обработки данных, обучения модели и предоставления прогнозов . Затем вы развёртываете модель и конвейеры в эксплуатацию с необходимой инфраструктурой мониторинга и протоколирования.
- Цель : создать и внедрить инфраструктуру для масштабирования, мониторинга и обслуживания моделей в процессе производства.
- Задачи : создание конвейеров для автоматизации многих задач по поддержанию актуальности моделей в процессе производства.
- Результаты : проверенные конвейеры МО.
Сквозной рабочий процесс МО
На следующей диаграмме показан весь сквозной рабочий процесс МО с перечислением каждой фазы, ее задач и результатов:
Рисунок 1. Четыре основные фазы рабочего процесса МО.
Иметь в виду
На каждом этапе возникает множество сложностей. Непонимание их и не планирование их решения может привести к срыву сроков, разочарованию инженеров и провалу проектов.