Этапы разработки машинного обучения

Проекты ML развиваются поэтапно с конкретными целями, задачами и результатами. Четкое понимание этапов разработки ML помогает установить инженерные обязанности, управлять ожиданиями заинтересованных сторон и эффективно распределять ресурсы.

Успешное прохождение этапов (часто итеративно) является основой проектирования, сборки и построения моделей машинного обучения, которые решают бизнес-задачи в долгосрочной перспективе.

На высоком уровне внедрение решения ML состоит из следующих этапов:

1. Идея и планирование
2. Экспериментирование
3. Строительство трубопровода
4. Производство

Идея и планирование

На этапе разработки идей и планирования вы формулируете свою проблему с точки зрения решения ML и оцениваете осуществимость проекта.

• Цель : определить, является ли ML лучшим решением вашей проблемы.
• Задачи : Проанализируйте бизнес-проблему, чтобы понять ограничения вашего проекта.
• Результат : проектный документ, описывающий, как решить проблему с помощью решения ML. Пример документации по проектированию машинного обучения см. в go/ml-design-doc-example .

Важно: на этапе разработки идей и планирования может потребоваться много времени, чтобы понять данные и показатели, необходимые для готовой к работе системы.

Транскрипт видео доступен при просмотре в Трансляции . Если расшифровка не отображается, щелкните значок расшифровки .

Экспериментирование

Экспериментирование — это основа машинного обучения. На этом этапе вы проверяете жизнеспособность решения ML. Поиск решения — это итеративный процесс. Нередко приходится проводить сотни экспериментов, прежде чем найти правильное сочетание функций , гиперпараметров и архитектуры модели, которое решит проблему.

• Цель : Построить модель, решающую бизнес-задачу.
• Задачи : Экспериментировать с функциями, гиперпараметрами и архитектурой моделей.
• Результат : Модель достаточно хорошего качества для запуска в производство.

Важно: на этапе экспериментирования новички в области МО часто недооценивают трудности разработки и внедрения соответствующих инструментов и процессов для экспериментов.

Транскрипт видео доступен при просмотре в Трансляции . Если расшифровка не отображается, щелкните значок расшифровки .

Строительство и производство трубопроводов

На этапе построения и производства конвейеров вы создаете конвейеры для обработки данных, обучения модели и предоставления прогнозов . Затем вы развертываете модель и конвейеры в рабочей среде с необходимой инфраструктурой мониторинга и журналирования.

• Цель : Построить и внедрить инфраструктуру для масштабирования, мониторинга и поддержки моделей в производстве.
• Задачи : Создание конвейеров для автоматизации многих задач по поддержанию актуальности моделей в производстве.
• Результаты : проверенные конвейеры машинного обучения.

Важно: на этапе производства легко недооценить сложность создания конвейеров данных и оценки моделей, особенно по мере развития функций. Например, вам необходимо реализовать не только всю инфраструктуру мониторинга, необходимую для проекта, не связанного с машинным обучением, но и весь мониторинг, специфичный для машинного обучения.

Транскрипт видео доступен при просмотре в Трансляции . Если расшифровка не отображается, щелкните значок расшифровки .

Комплексный рабочий процесс машинного обучения

На следующей диаграмме показан весь комплексный рабочий процесс машинного обучения с указанием каждого этапа, его задач и результатов:

Рисунок 1 . Четыре основных этапа рабочего процесса ML.

Иметь ввиду

На каждом этапе существует множество проблем. Их нереализация и планирование могут привести к срыву сроков, разочарованию инженеров и провалу проектов.

Ключевые термины:

особенность	гиперпараметр
модель	трубопровод
прогноз