Этапы разработки машинного обучения

Проекты машинного обучения реализуются поэтапно, имея определённые цели, задачи и результаты. Чёткое понимание этапов разработки машинного обучения помогает определить обязанности инженеров, управлять ожиданиями заинтересованных сторон и эффективно распределять ресурсы.

Успешное прохождение этапов (часто итеративно) имеет основополагающее значение для проектирования, сборки и построения моделей МО, которые решают бизнес-задачи в долгосрочной перспективе.

На высоком уровне внедрение решения МО состоит из следующих этапов:

1. Идеи и планирование
2. Экспериментирование
3. Строительство трубопровода
4. Продакшнизация

Идеи и планирование

На этапе разработки идеи и планирования вы формулируете проблему с точки зрения решения на основе машинного обучения и оцениваете осуществимость проекта.

• Цель : определить, является ли МО лучшим решением вашей проблемы.
• Задачи : Проанализируйте бизнес-проблему, чтобы понять ограничения вашего проекта.
• Результат : проектный документ, описывающий, как решить проблему с помощью решения МО.

Важно: На этапе разработки идеи и планирования может потребоваться много времени, чтобы понять данные и показатели, необходимые для готовой к производству системы.

Экспериментирование

Эксперименты — основа машинного обучения. На этом этапе вы проверяете жизнеспособность решения, разработанного на основе машинного обучения. Поиск решения — это итеративный процесс. Нередко приходится проводить сотни экспериментов, прежде чем найти оптимальную комбинацию признаков , гиперпараметров и архитектуры модели, которая решает задачу.

• Цель : построить модель, решающую бизнес-проблему.
• Задачи : экспериментировать с функциями, гиперпараметрами и архитектурой моделей.
• Результат : модель достаточно хорошего качества для запуска в производство.

Важно: на этапе экспериментов новички в машинном обучении часто недооценивают сложности проектирования и внедрения соответствующих инструментов и процессов эксперимента.

Строительство трубопроводов и внедрение производства

На этапе построения и запуска конвейера вы создаёте конвейеры для обработки данных, обучения модели и предоставления прогнозов . Затем вы развёртываете модель и конвейеры в эксплуатацию с необходимой инфраструктурой мониторинга и протоколирования.

• Цель : создать и внедрить инфраструктуру для масштабирования, мониторинга и обслуживания моделей в процессе производства.
• Задачи : создание конвейеров для автоматизации многих задач по поддержанию актуальности моделей в процессе производства.
• Результаты : проверенные конвейеры МО.

Важно: На этапе внедрения в производство легко недооценить сложность внедрения конвейеров данных и оценки моделей, особенно по мере развития функциональности. Например, вам придётся реализовать не только всю инфраструктуру мониторинга, необходимую для проекта без машинного обучения, но и весь мониторинг, специфичный для машинного обучения.

Сквозной рабочий процесс МО

На следующей диаграмме показан весь сквозной рабочий процесс МО с перечислением каждой фазы, ее задач и результатов:

Рисунок 1. Четыре основные фазы рабочего процесса МО.

Иметь в виду

На каждом этапе возникает множество сложностей. Непонимание их и не планирование их решения может привести к срыву сроков, разочарованию инженеров и провалу проектов.

Проверьте свое понимание

Вы только что прочитали о технологии машинного обучения, которая может принести пользу вашему продукту. Что вам следует делать дальше?

Прежде чем тратить время на разработку проектной документации или написание кода, вам следует сначала убедиться, что машинное обучение является правильным решением вашей проблемы.

Верно. Прежде чем тратить время на проектирование или написание кода, следует убедиться, что машинное обучение — правильное решение вашей проблемы.

Составьте проектную документацию, описывающую вариант использования МО и необходимую инфраструктуру для его реализации.

Перед составлением проектной документации следует убедиться, что МО является правильным решением вашей проблемы.

Найдите примеры кода и начните экспериментировать, чтобы определить, может ли модель делать хорошие прогнозы.

Прежде чем писать строку кода, следует убедиться, что машинное обучение является правильным решением вашей проблемы.

Ключевые термины:

особенность	гиперпараметр
модель	трубопровод
прогноз